Seis dias, US$ 3.000 em créditos de API e acesso total a GPUs e à web aberta parecem uma configuração dos sonhos para qualquer pesquisador. Dê a mesma configuração a um agente de IA, porém, e algo curioso acontece: ele vai gastar até o último token tentando salvar uma ideia que deveria ter sido descartada no segundo dia. Esse é o achado central de um novo olhar sobre os limites de projetos de pesquisa em IA, e aponta para uma lacuna em sistemas autônomos de IA que não tem a ver com inteligência, e sim com julgamento.
Summary
Principais conclusões
- Pesquisadores deram a agentes de IA seis dias, US$ 3.000 em créditos de API, computação em GPU, acesso à web e duas questões reais de pesquisa retiradas de submissões não publicadas da NeurIPS.
- Os agentes conduziram seus próprios experimentos e escreveram artigos completos sem nenhum humano escrevendo ou editando o código subjacente.
- Especialistas humanos que haviam estudado as mesmas questões por meses avaliaram os artigos resultantes com notas 2 de 6 e 1 de 6 — rejeições claras.
- Os agentes conseguiram gerenciar computação, depurar código e responder a feedback de revisores, mas não conseguiram reconhecer quando toda a sua abordagem já havia fracassado.
- Corrigir o problema provavelmente exigirá condições de parada, pontos de verificação de orçamento e acompanhamento de confiança incorporados diretamente ao modo de operação dos agentes.
Testando agentes de IA em questões reais de pesquisa
O experimento foi projetado para responder a uma pergunta simples: um agente de IA consegue conduzir um projeto científico real de pesquisa do início ao fim? A configuração deu a cada agente tudo o que um pesquisador júnior poderia pedir e então deixou as máquinas trabalharem sem supervisão.
Recursos e questões de pesquisa fornecidos aos agentes
Cada agente recebeu seis dias, US$ 3.000 em créditos de API, computação em GPU, acesso à web e a capacidade de criar subagentes para dividir a carga de trabalho. As duas questões de pesquisa não foram inventadas para o teste — vieram diretamente de submissões não publicadas da NeurIPS, o que significa que os agentes estavam enfrentando problemas nos quais cientistas em atividade haviam investido tempo real. Esse detalhe importa. Ele descarta a possibilidade de que os agentes simplesmente tenham escolhido um alvo fácil; eles estavam diante de questões suficientemente sérias para justificar uma submissão a conferência.
Experimentação autônoma e geração de artigos
A partir daí, ambos os agentes assumiram completamente. Eles executaram os experimentos e escreveram artigos completos sem um humano escrever ou editar uma única linha de código. Isso por si só já é uma capacidade significativa. Os agentes também gerenciaram seus próprios orçamentos de computação, depuraram código quando algo quebrava, analisaram os resultados que retornavam e responderam ao feedback de revisores da mesma forma que um estudante de pós-graduação defenderia um rascunho. No papel, o fluxo de trabalho parecia um processo de pesquisa funcional.
Como os artigos foram avaliados
O trabalho final não se sustentou quando chegou aos olhos humanos. Pesquisadores que haviam passado meses nas mesmas questões revisaram ambos os artigos escritos por IA e os rejeitaram de imediato.
Notas que significaram rejeição automática
O veredito foi direto: os especialistas humanos atribuíram notas 2 de 6 e 1 de 6 aos dois artigos. Em revisão por pares acadêmica, esses números se traduzem diretamente em rejeição, sem ambiguidade. Esse é o tipo de resultado que importa para quem avalia até onde a avaliação de agentes de pesquisa em IA realmente chegou — os agentes produziram documentos completos e bem acabados, mas acabamento não é o mesmo que mérito científico.
Autoavaliação dos agentes e reconhecimento de falhas
O que torna o resultado mais interessante é que os agentes não estavam cegos para seus próprios problemas. Suas autoavaliações apontaram muitas das mesmas fragilidades que os especialistas humanos levantaram depois. Em outras palavras, os agentes conseguiam ver as rachaduras se formando. O que lhes faltava era o julgamento para decidir que essas rachaduras significavam que o projeto precisava ser totalmente retrabalhado ou abandonado por completo.
A verdadeira limitação: saber quando parar
O fracasso dos agentes não teve a ver com mentir, alucinar fatos ou escrever código quebrado — teve a ver com se recusar a abandonar uma abordagem perdedora. Quando os primeiros experimentos começaram a enfraquecer as ideias originais, ambos os agentes responderam fazendo pequenos ajustes em vez de recuar. Eles estreitaram suas afirmações, adicionaram ressalvas e continuaram polindo resultados que seus próprios revisores já haviam apontado como fracos demais.
É por isso que o fracasso importa para além de um único experimento. Os agentes atuais são, em geral, construídos para concluir qualquer fluxo de trabalho que lhes seja dado, não para questionar se continuar aquele fluxo de trabalho ainda vale o tempo, a computação e o dinheiro que estão sendo gastos. Essa distinção é central para entender a falha de tomada de decisão em IA em sistemas autônomos: um agente pode ser tecnicamente competente em cada etapa individual — depuração, análise, resposta à crítica — e ainda assim falhar na decisão de nível superior sobre quando parar completamente.
Para quem implanta esses sistemas em escala, essa lacuna tem consequências financeiras reais. Um agente que não consegue reconhecer um beco sem saída continuará consumindo créditos de API e tempo de GPU em um projeto que um humano teria encerrado dias antes. O problema não é falta de capacidade. É uma camada de decisão ausente sobre essa capacidade.
O que seria necessário para corrigir isso
Resolver isso exigirá mais do que um modelo subjacente mais inteligente. Agentes de longa duração precisam de condições explícitas de parada incorporadas ao seu design, juntamente com pontos de verificação de orçamento e tempo que forcem uma pausa para reavaliação. Acompanhamento de confiança — algum mecanismo para o agente registrar quando suas próprias evidências estão se voltando contra ele — e a capacidade de escalar, replanejar ou abandonar completamente uma abordagem são as peças que os sistemas atuais parecem estar perdendo.
Há também um problema de transparência que os operadores precisam resolver. Um artigo finalizado e bem polido apenas mostra que um agente concluiu a tarefa que lhe foi atribuída; não diz nada sobre se o agente reconheceu um beco sem saída ao longo do caminho, respondeu de forma inteligente a críticas ou desperdiçou recursos perseguindo uma ideia que ele próprio já havia marcado internamente como fraca. O histórico de execução — não o resultado final — é onde essa história realmente vive. Até que os operadores possam ver esse histórico com clareza, melhorar fluxos de trabalho de IA para tarefas de pesquisa autônomas e de longa duração continuará sendo um exercício de tentativa e erro, e não de engenharia.
Perguntas frequentes
Quais recursos foram fornecidos aos agentes de pesquisa em IA no experimento?
Os agentes de IA receberam US$ 3.000 em créditos de API, computação em GPU, acesso à web, subagentes e duas questões de pesquisa ao longo de seis dias, retiradas de submissões não publicadas da NeurIPS.
Quão bem os agentes de IA se saíram na geração de artigos de pesquisa?
Eles executaram experimentos de forma autônoma e escreveram artigos completos, mas especialistas humanos avaliaram os artigos com notas baixas, 2 de 6 e 1 de 6, resultando em rejeição.
Qual foi a principal limitação identificada no desempenho dos agentes de pesquisa em IA?
Eles não conseguiram reconhecer quando suas abordagens de pesquisa haviam fracassado e continuaram fazendo ajustes menores em vez de abandonar ou redesenhar os projetos.
Quais melhorias são sugeridas para aprimorar os agentes de pesquisa em IA?
Recomenda-se introduzir condições explícitas de parada, pontos de verificação de orçamento e tempo, acompanhamento de confiança, capacidades de escalonamento e maior transparência para os operadores.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Quais recursos foram fornecidos aos agentes de pesquisa em IA no experimento?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Os agentes de IA receberam seis dias, US$ 3.000 em créditos de API, computação em GPU, acesso à web, subagentes e duas questões de pesquisa retiradas de submissões não publicadas da NeurIPS.”}},{“@type”:”Question”,”name”:”Quão bem os agentes de IA se saíram na geração de artigos de pesquisa?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Eles executaram experimentos de forma autônoma e escreveram artigos completos, mas especialistas humanos avaliaram os artigos com notas baixas, 2 de 6 e 1 de 6, resultando em rejeição.”}},{“@type”:”Question”,”name”:”Qual foi a principal limitação identificada no desempenho dos agentes de pesquisa em IA?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Eles não conseguiram reconhecer quando suas abordagens de pesquisa haviam fracassado e continuaram fazendo ajustes menores em vez de abandonar ou redesenhar os projetos.”}},{“@type”:”Question”,”name”:”Quais melhorias são sugeridas para aprimorar os agentes de pesquisa em IA?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Recomenda-se introduzir condições explícitas de parada, pontos de verificação de orçamento e tempo, acompanhamento de confiança, capacidades de escalonamento e maior transparência para os operadores.”}}]}
Artigo produzido com a assistência de inteligência artificial e revisado pela equipe editorial.
