Comparação de Desempenho entre Subversion, Mercurial e Git

Considerações Iniciais

A ideia é ver como as ferramentas se comportam em situações cotidianas. Para isso, basta um estudo de caso com poucas revisões e arquivos.

As operações avaliadas são:

1. Criação/clonagem de um repositório.
2. Adição de arquivos
3. Consolidação
4. Visualização do estado, histórico e das diferenças
5. Mesclagem (Merge)
6. Comunicação entre repositórios (pull e push)

As operações manipulam apenas alguns arquivos por vez, pois é o que acontece nas consolidações comumente realizadas por desenvolvedores.

O acesso ao repositório do Subversion é apenas local. Um repositório remoto dificultaria a replicação da experiência e adicionaria fatores não controlados como velocidade da rede à medição.

Os comandos do Mercurial estão sendo executados via chg. Isso evita o carregamento do interpretador Python a cada execução de comando. Veja este artigo para mais informações.

A execução dos comandos está automatizada em um script em bash. Os dados coletados são resumidos em uma tabela csv por um script em Python. Você pode refazer as medições usando diretamente os scripts sobre as versões instaladas em sua máquina, ou usando um container docker do Ubuntu 16.04 construído por esse Dockerfile com as versões mais recentes do Subversion, Git e Mercurial. Todos os arquivos usados nesta análise estão disponíveis no BitBucket (Mercurial) e também no Github (Git).

Resultados

Os tempos coletados estão apresentados na tabela abaixo, com a unidade de tempo em milissegundo:

Análise

Segundo JakobNielsen1993, há três limites de tempo de resposta que percebemos:

• Abaixo de 100ms. Percebido como resposta instantânea.
• Abaixo de 1s. Nota-se o atraso, mas o usuário mantém o fluxo de pensamento.
• Até 10s. Limite que o usuário permanece focado na operação. Depois disso, os usuários tendem a executar outras atividades enquanto esperam a operação terminar.

Os repositórios do estudo de caso são muito pequenos. O Subversion teve algumas operações acima de 100ms, mas abaixo de 1s. O Mercurial e o Git executaram seus comandos abaixo de 100ms. Nenhuma das três ferramentas apresentou um tempo de resposta demorado o suficiente para que o desenvolvedor tenha motivo para se distrair com outras coisas.

Mesmo o Subversion se saiu bem nos testes, mas foi mais lento que o Git e o Mercurial. Certamente os tempos de algumas operações seriam piores caso o repositório fosse remoto e houvesse requisições concorrentes de processamento. Ainda assim, provavelmente os tempos continuariam satisfatórios em uma situação normal.

Conforme esperado, o Git continua sendo extremamente rápido em repositórios pequenos. O destaque ficou com o Mercurial que foi muito rápido com o chg e até mais rápido que o Git em operações de clonagem, pull/fetch e push.