Pesquisadores de segurança há muito esperam que agentes de modelos de linguagem de grande porte possam acelerar uma das partes mais tediosas da resposta a incidentes: reconstruir como um invasor se moveu por um sistema, passo a passo, usando logs e telemetria dispersos. Um novo benchmark de diagnóstico chamado DiagChain coloca essa esperança à prova, e os resultados sugerem que a tecnologia ainda tem um longo caminho a percorrer antes de conseguir lidar de forma confiável com a reconstrução da cadeia de ataque por conta própria.
Desenvolvido por uma equipe de pesquisadores que inclui Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan e Xibin Zhao, o DiagChain não é apenas mais um placar de acurácia. Ele é construído especificamente para mostrar onde e por que agentes de LLM falham quando tentam reconstruir a sequência ordenada de ações que um invasor realizou, com base em evidências extraídas da telemetria do sistema.
Summary
Principais pontos
- DiagChain é um benchmark de diagnóstico que avalia agentes de LLM na reconstrução de cadeias de ataque baseada em evidências, indo além da simples acurácia de acerto/erro.
- A suíte MAIN-69 do benchmark inclui 69 cenários que abrangem múltiplos sistemas operacionais, níveis de ruído nas evidências e comprimentos de cadeia.
- Um novo método chamado ECRAG combina a recuperação de evidências com uma representação estruturada em evolução da cadeia que está sendo reconstruída.
- Entre 6 LLMs diferentes testados, a melhor configuração teve sucesso em apenas 39,6% dos 849 passos de referência.
- Modelos menores têm dificuldade em usar as evidências recuperadas, enquanto modelos maiores têm dificuldade principalmente em colocar essas evidências na ordem correta.
Apresentando o DiagChain: Um Novo Benchmark para Reconstrução de Cadeias de Ataque
O DiagChain existe porque a maioria dos benchmarks atuais olha apenas para os resultados finais ou para pontuações gerais de acurácia, oferecendo pouca visão sobre como os erros realmente se formam durante o processo de raciocínio de um agente. Essa é uma lacuna significativa para equipes de cibersegurança que tentam decidir se um agente de IA é confiável o suficiente para ajudar a priorizar uma intrusão real.
Propósito e Escopo do DiagChain
Em sua essência, o DiagChain é um benchmark de diagnóstico criado para tarefas de cibersegurança baseada em evidências. Em vez de simplesmente avaliar se um agente acertou ou errou a narrativa final do ataque, ele avalia separadamente cada estágio do processo de reconstrução. Essa abordagem por etapas permite que os pesquisadores identifiquem exatamente onde o raciocínio de um agente de LLM entra em colapso, seja durante a coleta de evidências, a interpretação das evidências ou a ordenação dos eventos em uma cadeia coerente.
Composição da Suíte de Cenários MAIN-69
O elemento central do benchmark é o MAIN-69, uma suíte de 69 cenários projetada para testar os agentes em uma variedade de condições realistas. Esses cenários abrangem múltiplos sistemas operacionais, variam na quantidade de ruído misturado às evidências e diferem no comprimento da cadeia, o que significa que algumas sequências de ataque são curtas enquanto outras exigem o acompanhamento de uma sequência mais longa de ações do invasor. Essa variedade tem como objetivo expor se o desempenho de um agente se mantém quando as condições ficam mais confusas, e não apenas quando tudo é limpo e direto.
Inovações Metodológicas e Métricas de Avaliação
Além da suíte de cenários, o DiagChain introduz seu próprio método de recuperação e um sistema de pontuação em cinco partes, ambos voltados a tornar o diagnóstico de falhas algo sistemático em vez de mera adivinhação.
Geração Aumentada por Recuperação Centrada em Evidências (ECRAG)
Uma das principais contribuições do artigo é o ECRAG, sigla para Evidence-Centric Retrieval-Augmented Generation (Geração Aumentada por Recuperação Centrada em Evidências). Diferentemente das configurações padrão de geração aumentada por recuperação, o ECRAG combina a recuperação de evidências com uma representação estruturada em evolução da cadeia que o agente está tentando reconstruir. Em termos práticos, isso significa que o sistema não apenas busca evidências relevantes uma vez e segue em frente; ele atualiza continuamente sua visão interna da cadeia de ataque à medida que novas evidências surgem, o que, em teoria, deveria ajudar os agentes a acompanhar intrusões complexas e de múltiplas etapas de forma mais coerente.
Cinco Métricas Complementares para Avaliação Diagnóstica
Para entender onde as coisas dão errado, o DiagChain se baseia em cinco métricas complementares, cada uma voltada a um estágio distinto do processo de reconstrução. Juntas, essas métricas permitem que os pesquisadores isolem pontos específicos de falha em vez de agrupar todos os erros em um único número genérico de acurácia. Isso é central para o valor do benchmark: uma avaliação diagnóstica que separa “o agente não encontrou as evidências corretas” de “o agente encontrou as evidências, mas colocou os eventos na ordem errada” é muito mais útil para melhorar esses sistemas do que uma única pontuação de acerto/erro.
Avaliação de Desempenho de Modelos de Linguagem de Grande Porte
Então, como os modelos atuais realmente se saíram? Não muito bem, de acordo com os resultados do benchmark.
Configuração Experimental Usando Seis LLMs
A equipe de pesquisa realizou avaliações usando seis LLMs diferentes nos cenários MAIN-69. Essa configuração permitiu comparar como modelos de capacidades variadas lidaram com as mesmas tarefas de reconstrução baseada em evidências, sob as mesmas condições de ruído e desafios de comprimento de cadeia, fornecendo uma base consistente para comparar o desempenho de forma geral.
Principais Resultados de Desempenho e Taxas de Sucesso
O número principal é contundente: mesmo a configuração de melhor desempenho no estudo teve sucesso em apenas 39,6% dos 849 passos de referência incluídos no MAIN-69. Em outras palavras, a configuração mais forte testada ainda errou a sequência de ações do invasor em mais de 60% das vezes quando medida em relação aos passos de verdade de base do benchmark. Isso é um alerta significativo para qualquer pessoa que espere delegar totalmente a reconstrução de cadeias de ataque a um agente de IA neste momento.
Percepções sobre Tamanho de Modelo e Desafios de Reconstrução
Por que isso importa além dos números brutos? Porque os padrões de falha diferem dependendo do tamanho do modelo, e essa distinção aponta para dois problemas de engenharia muito diferentes que precisam ser resolvidos.
Limitações de Modelos Menores
De acordo com a análise dos pesquisadores, modelos menores têm dificuldade com algo mais básico do que ordenar eventos corretamente: eles têm problemas para incorporar as evidências recuperadas em suas saídas. Isso sugere que o gargalo para modelos menores está mais cedo no fluxo, no ponto em que as evidências precisam de fato informar o raciocínio do agente em vez de serem ignoradas ou mal aplicadas.
Desafios para Modelos Maiores na Ordenação de Evidências
Modelos maiores superam esse primeiro obstáculo com mais sucesso e conseguem avançar mais no processo de reconstrução. Mas eles esbarram em outra barreira: ordenar corretamente as evidências que reuniram se torna o principal gargalo. Esse é um modo de falha mais sutil, já que o modelo tem as peças certas, mas luta para organizá-las na sequência correta de ações do invasor, que é precisamente o resultado que mais importa em uma investigação de segurança real.
Essa divisão é importante para qualquer pessoa que esteja construindo ou implantando ferramentas de benchmark de avaliação de LLM em operações de segurança. Ela implica que aumentar apenas o tamanho do modelo não vai, automaticamente, resolver a reconstrução de cadeias de ataque. Os dois modos de falha exigem correções diferentes: melhor integração de evidências para modelos menores e melhores estratégias de sequenciamento ou raciocínio para modelos maiores, em vez de um caminho de melhoria único para todos.
Os pesquisadores enquadram essas descobertas como uma validação da avaliação diagnóstica em detrimento de simples pontuações de acurácia de ponta a ponta. Um único número agregado pode dizer a uma equipe de segurança que um modelo “acerta 40% das vezes”, mas não diria se essa falha vem de evidências perdidas, evidências mal interpretadas ou sequenciamento embaralhado. As métricas por estágio do DiagChain são projetadas para fechar essa lacuna, oferecendo o que os autores descrevem como insights acionáveis para melhorar agentes de cibersegurança baseados em evidências daqui para frente.
Perguntas Frequentes
Para que o DiagChain foi projetado?
O DiagChain foi projetado para avaliar agentes de modelos de linguagem de grande porte na reconstrução de cadeias de ataque baseada em evidências por meio de uma avaliação diagnóstica, etapa por etapa.
Que conteúdo a suíte de cenários MAIN-69 abrange?
O MAIN-69 inclui 69 cenários que abrangem múltiplos sistemas operacionais, diferentes níveis de ruído nas evidências e diversos comprimentos de cadeias de ataque.
Como a metodologia ECRAG melhora a reconstrução de cadeias de ataque?
O ECRAG combina a recuperação de evidências com uma representação estruturada em evolução da cadeia reconstruída para auxiliar na análise de encadeamento.
Quais são os principais desafios de desempenho identificados para LLMs neste benchmark?
Modelos menores têm dificuldade em incorporar as evidências recuperadas, enquanto modelos maiores enfrentam desafios para ordenar corretamente as evidências na reconstrução.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Para que o DiagChain foi projetado?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O DiagChain foi projetado para avaliar agentes de modelos de linguagem de grande porte na reconstrução de cadeias de ataque baseada em evidências por meio de uma avaliação diagnóstica, etapa por etapa.”}},{“@type”:”Question”,”name”:”Que conteúdo a suíte de cenários MAIN-69 abrange?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O MAIN-69 inclui 69 cenários que abrangem múltiplos sistemas operacionais, diferentes níveis de ruído nas evidências e diversos comprimentos de cadeias de ataque.”}},{“@type”:”Question”,”name”:”Como a metodologia ECRAG melhora a reconstrução de cadeias de ataque?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”O ECRAG combina a recuperação de evidências com uma representação estruturada em evolução da cadeia reconstruída para auxiliar na análise de encadeamento.”}},{“@type”:”Question”,”name”:”Quais são os principais desafios de desempenho identificados para LLMs neste benchmark?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Modelos menores têm dificuldade em incorporar as evidências recuperadas, enquanto modelos maiores enfrentam desafios para ordenar corretamente as evidências na reconstrução.”}}]}
Artigo produzido com a assistência de inteligência artificial e revisado pela equipe editorial.
