12 contadores acertaram, em média, 37%. A IA acertou 100%. O número que importa é outro.

O que o estudo mediu

Os 12 participantes eram contadores juniores com o CPA, a licença de contador público dos Estados Unidos, e cerca de cinco anos e meio de experiência. Cada um recebeu quatro tarefas de fechamento do mês. Elas são versões simplificadas de tarefas de um teste maior, que a Mercor criou junto com a Ramp, empresa que faz uma plataforma de IA para contadores.

Cada tarefa vinha com uma lista de critérios de correção. No teste maior, esses critérios foram escritos por contadores experientes. A nota é a parte dos critérios que a pessoa cumpriu.

O resultado foi este:

• Contadores: média de 37% dos critérios, com notas que foram de 0% a cerca de 90%. A maioria das tentativas levou de 30 a 180 minutos.
• Claude Opus 5, o modelo de IA testado: 100% nas 20 tentativas, com menos de 10 minutos em cada uma.
• Custo: US$ 0,21 por critério cumprido pela IA, contra US$ 10,35 pelos contadores. A IA saiu 49 vezes mais barata. O custo dos contadores foi calculado pelo salário mediano da profissão nos Estados Unidos.

O detalhe que a manchete esconde

A própria Mercor avisa que as tarefas testaram justamente o que a IA faz melhor: prestar atenção em detalhe, procurar informação em arquivos e seguir instruções à risca. Ficou de fora uma parte grande do trabalho real, como conversar com o cliente e conhecer o contexto da empresa.

No teste completo, o resultado foi outro. Em julho, a Mercor publicou o APEX-Accounting, o teste maior feito com a Ramp, que mede se a IA faz o trabalho de um contador. Ele tem 160 tarefas de contabilidade escritas e resolvidas por mais de 40 profissionais, que tinham uma mediana de 11 anos de experiência. Na época, o melhor modelo nesse teste, o Claude Fable 5, cumpriu em média 56,4% dos critérios.

E a Mercor explica onde a IA erra: nos três melhores modelos, cerca de sete em cada dez falhas vieram de raciocínio errado, e não de dificuldade para achar a informação certa. A conclusão da Mercor é que os modelos ainda precisam de mais julgamento contábil.

Por que a IA acertou tudo nas tarefas recortadas

Repare em como as tarefas foram montadas. Cada uma tinha um começo, um fim e uma lista de critérios que dizia exatamente o que era um trabalho bem feito. Foi nesse cenário que a IA chegou a 100%.

E escrever o que é um fechamento do mês bem feito, item por item, exige conhecer o trabalho a fundo. Não por acaso, no teste maior, quem escreveu os critérios foram contadores experientes.

Esta é a leitura que eu faço do estudo: a IA rende quando alguém recorta o trabalho em tarefas claras e escreve o que é o resultado certo. E quem sabe fazer isso é o especialista. O conhecimento do especialista não perdeu valor. Esse conhecimento passou a ser a parte que faz a IA funcionar.

O que fazer na segunda-feira

Você não precisa de um laboratório para usar a mesma lógica no seu trabalho. Precisa de uma tarefa e de uma folha de papel.

• Escolha uma tarefa que você repete toda semana e que tem começo e fim claros.
• Escreva o passo a passo dela, do jeito que você faz hoje.
• Escreva os critérios de pronto: o que precisa estar certo para você aceitar o resultado sem refazer.
• Entregue para a IA o passo a passo e os critérios, junto com os arquivos de que ela precisa.
• Confira o resultado contra os seus critérios e ajuste o texto onde ela errou. Repita até ela cumprir todos os critérios. Aí a instrução fica pronta para usar de novo.

A própria Mercor diz que o estudo não mostra que o contador pode ser substituído. Na minha leitura, o estudo mostra que a IA ganha quando alguém que entende do assunto desenha a tarefa para ela.

Quem sai na frente não é quem tem a ferramenta mais nova. É quem tem o processo escrito.