As ferramentas de IA para programação mais poderosas de hoje conseguem realmente lidar com a física profunda incorporada em fluxos de trabalho de imageamento científico? Um novo benchmark chamado Imaging-101 foi criado para descobrir — e a resposta, pelo menos por enquanto, é claramente não. Submetido em julho de 2026 por uma equipe de doze pesquisadores, incluindo Siyi Chen, Jiahe Ying e He Sun, o estudo coloca a avaliação de agentes de programação baseados em LLM no centro de um campo em que errar na matemática não produz apenas software com bugs — produz resultados cientificamente sem sentido.
Summary
Principais conclusões
- Imaging-101 é um benchmark de 57 tarefas de imageamento computacional verificadas por especialistas abrangendo seis domínios científicos, cada uma fundamentada em um artigo revisado por pares.
- Cada tarefa segue um pipeline padronizado de quatro estágios: pré-processamento, modelagem física direta, solucionador inverso e visualização.
- A avaliação cobre três trilhas — planejamento, testes unitários em nível de função e reconstrução ponta a ponta — sondando capacidades distintas dos agentes.
- Sete modelos de linguagem de grande porte de fronteira foram avaliados, revelando desafios sistemáticos que vão além do que benchmarks gerais de programação expõem.
- O estudo identifica lacunas concretas na seleção de algoritmos, no tratamento de convenções físicas e na integração do pipeline, e aponta agentes especializados em domínios como o caminho a seguir.
O que o Imaging-101 realmente testa
Imageamento computacional fica na interseção entre física, matemática e engenharia de software. O desafio central é recuperar sinais ocultos a partir de medições indiretas e ruidosas — pense em reconstruir uma imagem médica a partir de leituras de sensores ou recuperar uma estrutura a partir de luz espalhada. Isso sustenta descobertas quantitativas em diversas disciplinas científicas, mas construir um pipeline de reconstrução correto exige profundo conhecimento de domínio. Mesmo cientistas experientes na área consideram isso trabalhoso.
O Imaging-101 foi projetado para testar de forma rigorosa se LLMs podem de fato ajudar nesse trabalho. O benchmark compila 57 tarefas verificadas por especialistas extraídas de seis domínios científicos, com cada tarefa fundamentada em um artigo revisado por pares. Essa fundamentação é importante: significa que o benchmark não está medindo competência abstrata em programação, mas sim se um agente de IA consegue traduzir métodos científicos reais e publicados em código funcional.
Pipeline padronizado de quatro estágios
Para tornar as tarefas comparáveis entre domínios, cada um dos 57 problemas é canonizado na mesma estrutura. O pipeline de quatro estágios passa por pré-processamento, modelagem física direta, solucionador inverso e visualização. Cada estágio traz sua própria complexidade. A modelagem física direta, por exemplo, exige que um agente codifique as leis físicas que regem como um sinal é medido — não apenas escrever código sintaticamente correto, mas capturar as equações corretas. O estágio do solucionador inverso então pede que o agente reverta matematicamente esse processo.
Essa estrutura de pipeline é uma das escolhas de design mais deliberadas do Imaging-101. Ao padronizar o fluxo de trabalho, o benchmark torna possível isolar exatamente onde um LLM falha — se ele erra ao entender a configuração física, se tem dificuldades com métodos numéricos ou se simplesmente não consegue integrar os estágios em uma solução coerente de ponta a ponta.
Como a avaliação foi estruturada
A equipe de pesquisa avaliou sete modelos de linguagem de grande porte de última geração otimizados para tarefas de programação. Em vez de medir o desempenho com uma única métrica, a avaliação se divide em três trilhas distintas projetadas para sondar diferentes capacidades dos agentes.
A primeira trilha testa o planejamento — se um agente consegue raciocinar corretamente sobre a abordagem geral antes de escrever qualquer código. A segunda usa testes unitários em nível de função, isolando componentes individuais do pipeline para avaliar a precisão de programação em nível granular. A terceira e mais exigente trilha mede a reconstrução ponta a ponta, exigindo que o agente produza um pipeline completo e funcional que realmente recupere um sinal significativo a partir de medições brutas.
Esse desenho em três trilhas é analiticamente inteligente. Um modelo pode ter bom desempenho em planejamento — articulando a estratégia correta — e ainda assim falhar completamente quando precisa implementar essa estratégia em código. Separar as trilhas torna essas falhas visíveis em vez de simplesmente medi-las em média.
Onde os LLMs falham em tarefas de imageamento científico
Os resultados revelam um conjunto de desafios sistemáticos que benchmarks gerais de programação simplesmente não expõem. Três áreas problemáticas se destacam claramente nos achados.
- Seleção de algoritmos: LLMs têm dificuldade em escolher o algoritmo de reconstrução apropriado para uma determinada configuração física, frequentemente recorrendo a abordagens genéricas ou incorretas.
- Tratamento de convenções físicas: o imageamento científico depende de convenções precisas — sistemas de coordenadas, definições de unidades, convenções de sinal em equações — e os modelos frequentemente erram nisso de maneiras que corrompem silenciosamente os resultados.
- Integração do pipeline: mesmo quando estágios individuais são codificados corretamente, conectá-los em um sistema funcional de ponta a ponta expõe modos adicionais de falha.
O que torna esses achados significativos é que eles representam uma classe de dificuldade qualitativamente diferente das tarefas gerais de desenvolvimento de software. Escrever um web scraper ou uma função de ordenação não exige entender a física da propagação de ondas ou a matemática da inversão de Fourier. Imageamento computacional exige. A lacuna entre competência geral em programação e programação científica específica de domínio acaba sendo maior do que os benchmarks existentes sugerem.
Por que essa lacuna importa além da academia
As implicações vão além de um único artigo de pesquisa. Agentes de programação baseados em LLM estão sendo cada vez mais posicionados como assistentes científicos de uso geral — ferramentas que pesquisadores poderiam usar para acelerar a implementação de novos métodos. Se esses agentes falham sistematicamente em lidar com convenções físicas ou selecionam solucionadores inversos inadequados, implantá-los sem supervisão humana cuidadosa pode introduzir erros difíceis de detectar em pipelines científicos. O tipo de erro que não gera exceções, mas produz silenciosamente respostas erradas.
Para campos em que o imageamento computacional impulsiona descobertas — de diagnósticos médicos à ciência de materiais — isso é uma preocupação de confiabilidade concreta, não teórica.
O caminho a seguir: agentes especializados em domínios
O estudo não para na identificação de problemas. A equipe de pesquisa aponta agentes com habilidades aumentadas e especializados em domínios como o caminho prático de melhoria. A formulação sugere que um LLM de uso geral, por mais capaz que seja em tarefas convencionais de programação, carrega limitações estruturais quando aplicado a fluxos de trabalho científicos fundamentados em física. Agentes especificamente equipados com conhecimento de domínio — seja por meio de fine-tuning, ferramentas com recuperação aumentada ou módulos de habilidades estruturadas — representam a direção mais promissora.
O próprio Imaging-101 é posicionado como a infraestrutura para medir o progresso ao longo desse caminho. Ao fornecer um benchmark padronizado com tarefas verificadas por especialistas e um framework de avaliação reproduzível, ele dá aos pesquisadores um alvo concreto para melhorar o desempenho de agentes em desafios de reconstrução com LLM em imageamento computacional. O fato de o benchmark ser fundamentado em artigos revisados por pares também significa que ele reflete a prática científica real, não problemas sintéticos de brinquedo.
Quer o campo avance rapidamente em direção a agentes especializados ou continue a depender de modelos de uso geral com correção humana, o Imaging-101 agora fornece o retrato mais claro disponível de onde as lacunas realmente estão — e quão profundas elas são.
Perguntas frequentes
Qual é o propósito do benchmark Imaging-101?
O Imaging-101 avalia o desempenho de agentes de programação baseados em modelos de linguagem de grande porte em 57 tarefas de imageamento computacional verificadas por especialistas em seis domínios científicos. Cada tarefa é padronizada em um pipeline de quatro estágios, permitindo uma avaliação sistemática de onde agentes de IA têm sucesso e falham em fluxos de trabalho de imageamento científico.
Quais estágios compõem o pipeline de imageamento computacional no Imaging-101?
O pipeline consiste em quatro estágios: pré-processamento, modelagem física direta, solucionador inverso e visualização. Cada estágio representa um desafio técnico distinto, desde codificar leis físicas de medição até reconstruir sinais ocultos a partir de dados ruidosos.
Quais desafios os agentes de programação baseados em LLM enfrentaram na avaliação?
Os modelos avaliados tiveram dificuldades em três áreas principais: selecionar o algoritmo apropriado para uma determinada configuração física, lidar corretamente com convenções físicas como sistemas de coordenadas e definições de sinal e integrar componentes individuais do pipeline em um sistema de reconstrução funcional de ponta a ponta.
Quais melhorias futuras são sugeridas para agentes de programação em imageamento computacional?
O estudo propõe agentes com habilidades aumentadas e especializados em domínios como caminho prático a seguir. Em vez de depender de modelos de uso geral, os pesquisadores sugerem que agentes equipados com conhecimento específico de domínio e capacidades estruturadas são mais adequados às exigências de pipelines de imageamento científico.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Qual é o propósito do benchmark Imaging-101?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O Imaging-101 avalia o desempenho de agentes de programação baseados em modelos de linguagem de grande porte em 57 tarefas de imageamento computacional verificadas por especialistas em seis domínios científicos. Cada tarefa é padronizada em um pipeline de quatro estágios, permitindo uma avaliação sistemática de onde agentes de IA têm sucesso e falham em fluxos de trabalho de imageamento científico.”}},{“@type”:”Question”,”name”:”Quais estágios compõem o pipeline de imageamento computacional no Imaging-101?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O pipeline consiste em quatro estágios: pré-processamento, modelagem física direta, solucionador inverso e visualização. Cada estágio representa um desafio técnico distinto, desde codificar leis físicas de medição até reconstruir sinais ocultos a partir de dados ruidosos.”}},{“@type”:”Question”,”name”:”Quais desafios os agentes de programação baseados em LLM enfrentaram na avaliação?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Os modelos avaliados tiveram dificuldades em três áreas principais: selecionar o algoritmo apropriado para uma determinada configuração física, lidar corretamente com convenções físicas como sistemas de coordenadas e definições de sinal e integrar componentes individuais do pipeline em um sistema de reconstrução funcional de ponta a ponta.”}},{“@type”:”Question”,”name”:”Quais melhorias futuras são sugeridas para agentes de programação em imageamento computacional?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O estudo propõe agentes com habilidades aumentadas e especializados em domínios como caminho prático a seguir. Em vez de depender de modelos de uso geral, os pesquisadores sugerem que agentes equipados com conhecimento específico de domínio e capacidades estruturadas são mais adequados às exigências de pipelines de imageamento científico.”}}]}
Artigo produzido com a assistência de inteligência artificial e revisado pela equipe editorial.
