Pular para o conteúdo
  • BTC $56.636 −8,4%
  • ETH $1.584 −9,1%
  • SOL $66,59 −8,4%
  • BNB $514,91 −9,8%
  • XRP $0,8774 −9,2%
  • DOGE $0,0521 −9,5%
  • ADA $0,1368 −8,8%

O alinhamento de chaves de consulta revela que os LLMs muitas vezes sabem as respostas que erram

Modelos de linguagem de grande porte podem errar uma pergunta de múltipla escolha na página e ainda assim ter a resposta correta em algum lugar dentro de sua própria circuitaria. Esse é o premissa marcante por trás de um novo estudo sobre alinhamento de chave de consulta, que mostra que a discrepância entre o que um modelo “sabe” e o que ele realmente produz em respostas de múltipla escolha,…

query key alignment
Query Key Alignment Reveals Hidden Answers in LLMs

Grandes modelos de linguagem podem errar uma questão de múltipla escolha na página e ainda assim manter a resposta correta em algum lugar dentro de sua própria circuitaria. Esse é o premissa marcante por trás de um novo estudo sobre alinhamento query-key, que mostra que a discrepância entre o que um modelo “sabe” e o que ele realmente produz em tarefas de múltipla escolha, ou MCQA, não é um beco sem saída — é um sinal que pode ser lido diretamente do mecanismo de atenção do modelo antes que um único token seja decodificado.

Principais conclusões

  • Grandes modelos de linguagem frequentemente codificam internamente a resposta correta de MCQA mesmo quando sua saída final está errada.
  • Uma nova métrica chamada pontuação Query-Key, ou pontuação QK, mede o alinhamento entre a query do último token e a key ligada a cada opção de resposta, calculada antes da aplicação do rotary positional embedding (RoPE).
  • Testada em 24 modelos variando de 1,5B a 72B de parâmetros, a pontuação QK de uma única cabeça de atenção superou a própria acurácia zero-shot do modelo em até +27,4 pontos percentuais no HellaSwag e +49,8 pontos no HaluDialogue.
  • Uma ferramenta não supervisionada chamada HeadScore pode encontrar essas cabeças críticas sem qualquer dado rotulado, igualando os resultados de métodos supervisionados em todos os modelos testados.
  • Os pesquisadores divulgaram um script HeadScore de uma linha, pronto para uso, juntamente com índices de cabeças por modelo, para que os resultados possam ser reproduzidos com um único comando.

Descobrindo Conhecimento Latente em Grandes Modelos de Linguagem

A descoberta central é simples de enunciar, mas ampla em escopo: LLMs rotineiramente deixam de produzir a opção correta em tarefas de MCQA mesmo quando a resposta correta está codificada em algum lugar em suas representações internas. Essa lacuna entre o “conhecimento” interno e a saída externa há muito intriga pesquisadores que estudam o comportamento de modelos, e levanta uma questão prática — se a resposta está lá dentro, é possível extraí-la sem esperar o modelo gerar texto?

Isso é importante porque benchmarks de MCQA são um padrão de referência para avaliar o desempenho de grandes modelos de linguagem em MCQA, desde rankings acadêmicos até avaliações em produção. Se os modelos estão subestimando sua competência real devido a peculiaridades de saída em vez de falhas genuínas de raciocínio, então pontuações de acurácia baseadas apenas em texto gerado podem estar induzindo todo o campo em erro sobre o que esses sistemas realmente entendem.

Pontuação Query-Key e Cabeças de Atenção de Selecionar-e-Copiar

Para revelar essa informação latente, os pesquisadores introduzem uma métrica que chamam de pontuação Query-Key, ou pontuação QK, que para uma cabeça de atenção específica é calculada como o produto interno entre a query do token final e a key correspondente ao token de fim de linha que segue uma dada opção de resposta, com esse cálculo realizado antes da aplicação do rotary positional embedding. Em termos práticos, é uma forma de espiar a maquinaria de atenção do modelo para ver para qual opção o modelo está silenciosamente se inclinando, independentemente do texto que ele eventualmente imprime.

Tomar o argmax dessa pontuação entre as opções revela algo que o artigo descreve como uma classe universal de cabeças de atenção de selecionar-e-copiar situadas nas camadas intermediárias desses modelos. Essas cabeças realizam a seleção de opções por meio de alinhamento semântico query-key e se comportam de maneiras que as distinguem mecanicamente de cabeças de indução e de supressão de cópia previamente documentadas.

Duas propriedades se destacam. Primeiro, essas cabeças são invariantes a símbolos de rótulo — o que significa que elas não estão simplesmente rastreando qual letra ou número corresponde a uma resposta, mas algo mais próximo do conteúdo semântico da própria opção. Segundo, elas resolvem uma tarefa sintética com zero sobreposição de superfície, um teste projetado de forma que nenhuma explicação baseada em cópia posicional pudesse justificar o comportamento. Ambas as propriedades, observa o estudo, exigem criticamente remover o RoPE para serem observadas — sem retirar essa camada de codificação posicional, o sinal de alinhamento subjacente permanece oculto.

Melhorias de Desempenho em Vários Modelos

A escala de testes por trás dessas afirmações é ampla. Os pesquisadores executaram sua análise em 24 modelos variando de 1,5B a 72B de parâmetros, incluindo LLaMA-2, LLaMA-3, LLaMA-3.1, LLaMA-3.3, Qwen-2.5, Gemma, Phi-3.5 e DeepSeek-R1-Distill. Ao longo desse espectro, a pontuação QK de uma única cabeça superou consistentemente a própria acurácia zero-shot de cada modelo — em até +27,4 pontos percentuais no benchmark HellaSwag e +49,8 pontos percentuais no HaluDialogue.

Esse segundo número merece uma pausa. Quase uma variação de 50 pontos entre o que um modelo produz e o que sua cabeça de atenção interna “diz” por meio do alinhamento query-key é uma lacuna substancial — grande o suficiente para sugerir que, em certas tarefas, o gargalo não é a capacidade de raciocínio em si, mas algo mais próximo de um problema de saída ou de decodificação.

Para confirmar que essas cabeças não estão apenas correlacionadas com respostas corretas, mas de fato são responsáveis por produzi-las, os pesquisadores realizaram experimentos de zero-ablation causal — desativando deliberadamente as cabeças identificadas. O resultado: a acurácia em MCQA desabou para níveis quase aleatórios, o que é uma forte evidência de que essas cabeças específicas estão realizando trabalho causal real no processo de seleção de respostas, em vez de simplesmente refletir esse processo.

HeadScore Não Supervisionado e Reprodutibilidade

Encontrar as cabeças certas para estudar normalmente exige dados de validação rotulados, o que limita o quão prático um método pode ser fora de um laboratório de pesquisa. Para resolver isso, a equipe introduziu um método não supervisionado chamado HeadScore que ranqueia cabeças de atenção usando apenas entradas não rotuladas. Apesar de não ter acesso a rótulos de verdade-terreno, o HeadScore recuperou com sucesso as mesmas cabeças de melhor desempenho identificadas pela abordagem supervisionada — e fez isso em todos os modelos testados.

O estudo também situa a pontuação QK ao lado de técnicas existentes de desenviesamento posicional, como PriDe, Wiegrefe e Wang, que são projetadas para corrigir a tendência dos modelos de favorecer certas posições de resposta independentemente do conteúdo. O artigo enquadra a pontuação QK como complementar, e não concorrente, a essas linhas de base: métodos de desenviesamento funcionam reponderando logits de saída depois do fato, enquanto a pontuação QK lê a seleção do modelo diretamente de uma cabeça de camada intermediária antes que qualquer decodificação aconteça. Essa distinção — intervir na etapa de saída versus ler o sinal pré-decodificação — posiciona as duas abordagens como ferramentas que poderiam, em princípio, ser usadas em conjunto.

Para reprodutibilidade, os pesquisadores divulgaram um script HeadScore de uma linha, pronto para uso, juntamente com índices de cabeças por modelo, tornando possível reproduzir cada resultado com um único comando em todos os 24 modelos e quatro benchmarks testados no estudo.

Por Que Essa Linha de Pesquisa Importa

Trabalhos de interpretabilidade mecanicista como este têm menos a ver com construir um chatbot melhor e mais com entender o que está realmente acontecendo dentro de sistemas que já estão implantados em larga escala. Se a seleção de cabeças de atenção pode revelar respostas que a decodificação padrão não captura, isso tem implicações para como benchmarks de avaliação são interpretados — um modelo com pontuação baixa em um ranking ainda pode estar computando internamente a resposta correta, apenas falhando em trazê-la à tona por meio da geração normal.

Isso também abre uma porta para auditorias de modelo mais eficientes. Uma ferramenta não supervisionada como o HeadScore significa que pesquisadores que estudam a seleção de cabeças de atenção não precisam de conjuntos de dados rotulados e curados para identificar quais partes de um modelo estão fazendo o trabalho pesado em uma determinada tarefa — um atalho prático significativo para qualquer pessoa que tente sondar os internos de um modelo sem construir conjuntos de avaliação sob medida para cada arquitetura.

Artigo produzido com a assistência de inteligência artificial e revisado pela equipe editorial.

Francesco Antonio Russo

Todos os artigos de Francesco Antonio Russo