A Anthropic e pesquisadores independentes apresentaram uma nova forma de medir algo em que os modelos de IA historicamente têm dificuldade em provar que são bons: raciocinar sobre problemas que não têm uma resposta limpa e verificável. O Índice de Raciocínio Conceitual (CRI), revelado esta semana, combina três benchmarks distintos para pontuar o quão bem grandes modelos de linguagem lidam com argumentos filosóficos, consistência lógica e quebra-cabeças de teoria da decisão — o tipo de pensamento que muitos pesquisadores acreditam que será o mais importante à medida que sistemas de IA assumem um papel maior em gerenciar seus próprios riscos.
Summary
Principais pontos
- O Índice de Raciocínio Conceitual combina três benchmarks — capacidades LMCA, ACCoRD e DTBench — em uma única pontuação de 0 a 100 de raciocínio conceitual de IA.
- O modelo com melhor desempenho, Opus 5, obteve 73,6 no CRI, bem abaixo de um teto estimado em cerca de 91.
- O conjunto de dados LMCA inclui 560 textos de posição e 1.461 argumentos avaliados por especialistas cobrindo filosofia, teoria da decisão e risco de IA.
- As pontuações têm subido de forma aproximadamente linear desde o final de 2024, sem sinal de estabilização.
- O projeto foi desenvolvido em colaboração com a Anthropic e os pesquisadores Emery Cooper e Caspar Oesterheld.
Introdução ao Índice de Raciocínio Conceitual (CRI)
O CRI existe porque parte do trabalho mais importante que sistemas de IA podem eventualmente realizar — ajudar humanos a entender e se preparar para riscos de IA avançada — não pode ser verificado com uma resposta claramente correta, como acontece com problemas de matemática ou programação. Seus criadores argumentam que muitas das tarefas ligadas à mitigação de riscos de IA exigem o tipo de argumentação usada em filosofia e futurismo de IA, em vez de verificação empírica, e que os métodos de treinamento atuais, que dependem fortemente de dados com feedback confiável, tendem a deixar os modelos mais fracos justamente nesse tipo de raciocínio.
Para fechar essa lacuna de medição, os pesquisadores construíram três benchmarks de risco de IA separados e os reuniram em uma única pontuação agregada. O Índice de Raciocínio Conceitual (CRI) agrega três benchmarks — capacidades LMCA, ACCoRD e DTBench — em um único número destinado a capturar a habilidade geral de raciocínio conceitual de um modelo. O índice está disponível publicamente em conceptualreasoning.ai, onde a equipe afirma que continuará atualizando as pontuações e a metodologia à medida que novos modelos e novos benchmarks surgirem.
Finalidade do CRI na gestão de riscos de IA
Por que construir isso? Os pesquisadores por trás do projeto dizem que, uma vez que modelos de IA consigam realizar trabalho de redução de risco em nível de especialistas humanos, a produção assistida por IA nesse campo poderá superar em muito o que humanos sozinhos produzem. Isso significa que a rapidez com que os modelos podem ser treinados para raciocinar bem sobre governança, alinhamento e falhas de cooperação envolvendo IA pode se tornar um fator decisivo para que os riscos sejam tratados a tempo. Melhorar o raciocínio conceitual em modelos de IA é considerado importante justamente porque mira essa lacuna — as tarefas que carecem de ciclos de feedback empírico e, portanto, tendem a ser negligenciadas pelo treinamento padrão.
Agregação de benchmarks e disponibilidade
O CRI não é um único teste — é um composto ponderado. Atualmente, o LMCA responde por 60% da pontuação, com as capacidades ACCoRD e DTBench contribuindo com 20% cada. A equipe afirma que planeja adicionar novos benchmarks ao longo do tempo, aposentar aqueles que ficarem saturados e, potencialmente, reequilibrar esses pesos à medida que os modelos melhorarem.
Análise detalhada dos benchmarks componentes do CRI
Cada um dos três componentes mira um tipo diferente de raciocínio que é difícil de verificar empiricamente, mas ainda mensurável por meio de julgamento especializado ou regras lógicas.
Conjunto de dados LMCA: escopo e avaliações de especialistas
LMCA, sigla para Language Model Conceptual Argumentation, é construído em torno de argumentos selecionados e avaliados por especialistas, abrangendo teoria da decisão, filosofia e riscos de IA avançada. O conjunto de dados LMCA contém 560 textos de posição emparelhados com 1.461 argumentos avaliados por especialistas escritos contra essas posições. Quase todos os argumentos foram avaliados pelo pesquisador conceitual Emery Cooper, com uma parte avaliada de forma independente por pelo menos outro pesquisador, resultando em 2.140 avaliações no total. Um conjunto de validação de aproximadamente 50 argumentos foi avaliado de forma independente por quatro a seis pessoas e depois debatido por sete a oito horas no total, um processo destinado a estabelecer o quanto os humanos concordam entre si antes de compará-los às saídas dos modelos.
No momento, o LMCA apenas pontua o quão bem os modelos julgam argumentos existentes, em vez de gerar novos, embora a equipe diga que espera adicionar uma medida de geração de argumentos no futuro.
ACCoRD: medindo a consistência lógica nas crenças do modelo
O ACCoRD verifica algo diferente: se as crenças e preferências declaradas pelo próprio modelo se mantêm logicamente consistentes. Se um modelo relata uma probabilidade para o evento A e, separadamente, uma probabilidade para A e B ocorrerem juntos, ele respeita regras básicas como P(A) ser maior ou igual a P(A&B)? O conjunto completo de dados ACCoRD contém quase 14.000 restrições de consistência geradas por modelos, distribuídas em 18 tipos de restrição, processadas por um verificador automatizado. Destas, 567 restrições validadas entraram no CRI após revisão manual — um filtro deliberadamente conservador destinado a manter apenas as verificações nas quais os pesquisadores confiam.
DTBench: avaliação de raciocínio em teoria da decisão
O DTBench testa o raciocínio em teoria da decisão com 407 questões de múltipla escolha, a maioria elaborada por Caspar Oesterheld, que publicou trabalhos acadêmicos em teoria da decisão, e validadas de forma independente por Emery Cooper. As questões exploram cenários envolvendo autopredição e interações com quase-cópias de um agente — o tipo de experimento mental debatido há muito tempo por teóricos da decisão. Outras 130 questões no conjunto completo do DTBench medem atitudes em teoria da decisão, mas foram deixadas de fora da pontuação do CRI.
Resultados de desempenho do CRI e tendências
Mesmo os melhores modelos testados ainda ficam bem aquém do que os benchmarks consideram uma pontuação quase perfeita, embora a diferença venha diminuindo de forma constante.
Pontuações atuais de desempenho e comparação com os tetos
As pontuações do CRI variam de 0 a 100, sendo 0 equivalente a chutar aleatoriamente. Os pesquisadores estimam um teto realista em torno de 91, em vez de 100 completo, porque as próprias avaliações humanas carregam algum ruído — nem mesmo avaliadores especialistas concordam entre si 100% do tempo. A maior pontuação registrada até agora pertence ao Opus 5, com 73,6, e um intervalo de confiança de 95% de mais ou menos 2,1. Isso deixa uma diferença significativa entre o desempenho máximo atual e o teto estimado, sugerindo que ainda há espaço real para os modelos melhorarem em raciocínio conceitual antes que o próprio benchmark se torne o fator limitante.
Tendências na melhoria de desempenho dos modelos ao longo do tempo
O que se destaca nos dados não é apenas onde os modelos estão agora, mas a velocidade com que vêm avançando. O desempenho dos modelos vem melhorando de forma aproximadamente linear desde o final de 2024, e os pesquisadores relatam não haver sinal de que essa tendência esteja se achatando. Essa subida constante é relevante para qualquer pessoa que tente prever quando sistemas de IA poderão se tornar colaboradores realmente úteis no tipo de trabalho intensivo em argumentação de que a pesquisa em segurança de IA depende.
Estimativas de saturação específicas de cada benchmark
Nem todos os componentes avançam no mesmo ritmo. Extrapolando as tendências atuais, os pesquisadores estimam de forma aproximada que o LMCA começará a saturar em cerca de um ano. O DTBench, por outro lado, já está próximo de seu teto — um modelo avaliado, o Fable 5, respondeu corretamente a 98% das questões do DTBench. O ACCoRD é a incógnita: a equipe afirma estar genuinamente incerta sobre quando esse benchmark irá saturar, já que erros de consistência podem persistir mesmo quando a capacidade bruta de raciocínio melhora.
Importância e desenvolvimento colaborativo do CRI
Por que tudo isso importa além de um ranking? Porque as pessoas que estão construindo o Índice de Raciocínio Conceitual veem o raciocínio conceitual como uma habilidade gargalo especificamente para o trabalho em risco de IA — o tipo de trabalho que envolve raciocinar sobre governança, alinhamento e falhas catastróficas de cooperação em que não há um conjunto de dados de resultados passados para treinar. Melhorar o raciocínio conceitual em modelos de IA é considerado importante para ajudar a reduzir riscos de IA avançada justamente porque grande parte desse trabalho de mitigação de riscos depende de argumentação, e não de testes empíricos.
O projeto foi construído por meio de uma colaboração envolvendo a Anthropic juntamente com os pesquisadores conceituais Emery Cooper e Caspar Oesterheld, que contribuíram tanto para o desenho dos conjuntos de dados quanto para as avaliações de especialistas que sustentam os componentes LMCA e DTBench. Essa combinação de apoio institucional e contribuição de especialistas com conhecimento específico de domínio é parte do que distingue o CRI de benchmarks de IA mais convencionais focados em matemática, programação ou conhecimento geral — áreas em que a correção geralmente pode ser verificada automaticamente.
As pontuações em tempo real e as notas metodológicas estão hospedadas em conceptualreasoning.ai, e o acesso ao conjunto de dados LMCA subjacente está disponível por meio de um formulário de solicitação, uma estrutura que sugere que a equipe deseja que pesquisadores externos testem e desafiem o benchmark, em vez de tratá-lo como uma métrica interna fechada.
Perguntas frequentes
O que é o Índice de Raciocínio Conceitual (CRI)?
O CRI agrega três benchmarks — LMCA, ACCoRD e DTBench — para medir as habilidades de raciocínio conceitual de modelos de IA, produzindo uma única pontuação de 0 a 100.
Que tipos de raciocínio o conjunto de dados LMCA avalia?
O LMCA avalia modelos na tarefa de julgar argumentos conceituais relacionados à filosofia, teoria da decisão e riscos de IA, comparando as avaliações dos modelos com as avaliações de especialistas humanos.
Como a consistência lógica é testada em modelos de IA pelo ACCoRD?
O ACCoRD mede se as crenças e preferências relatadas por um modelo satisfazem restrições de consistência lógica, como regras básicas de probabilidade, usando 567 restrições validadas no CRI.
Quão bem os modelos de IA atuais estão se saindo no CRI?
O modelo atual de melhor desempenho, Opus 5, obtém cerca de 73,6 de 100 no CRI, com as pontuações entre os modelos avaliados melhorando de forma aproximadamente linear desde o final de 2024 e sem sinal, até agora, de que esse crescimento esteja desacelerando.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”O que é o Índice de Raciocínio Conceitual (CRI)?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O CRI agrega três benchmarks — LMCA, ACCoRD e DTBench — para medir as habilidades de raciocínio conceitual de modelos de IA, produzindo uma única pontuação de 0 a 100.”}},{“@type”:”Question”,”name”:”Que tipos de raciocínio o conjunto de dados LMCA avalia?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O LMCA avalia modelos na tarefa de julgar argumentos conceituais relacionados à filosofia, teoria da decisão e riscos de IA, comparando as avaliações dos modelos com as avaliações de especialistas humanos.”}},{“@type”:”Question”,”name”:”Como a consistência lógica é testada em modelos de IA pelo ACCoRD?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O ACCoRD mede se as crenças e preferências relatadas por um modelo satisfazem restrições de consistência lógica, como regras básicas de probabilidade, usando 567 restrições validadas no CRI.”}},{“@type”:”Question”,”name”:”Quão bem os modelos de IA atuais estão se saindo no CRI?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O modelo atual de melhor desempenho, Opus 5, obtém cerca de 73,6 de 100 no CRI, com as pontuações entre os modelos avaliados melhorando de forma aproximadamente linear desde o final de 2024 e sem sinal, até agora, de que esse crescimento esteja desacelerando.”}}]}
Artigo produzido com a assistência de inteligência artificial e revisado pela equipe editorial.
