Pular para o conteúdo
  • BTC $60.447 −2,4%
  • ETH $1.697 −3,2%
  • SOL $70,46 −1,3%
  • BNB $547,51 −4,0%
  • XRP $0,9266 −2,5%
  • DOGE $0,0551 −2,8%
  • ADA $0,1432 −2,3%

O detector de modelo destilado por IA da Meta identifica 79% com uma taxa de falsos positivos de 0,1%

Pesquisadores da Meta desenvolveram um método para detectar modelos de IA destilados que identificou 79% das cópias testadas com uma taxa de falso positivo de 0,1%, sem inspecionar o interior dos modelos suspeitos. A técnica, chamada WM-Basin, tem como alvo modelos treinados em saídas de modelos “professores” marcados com watermark e aparece em um artigo publicado em 27 de outubro de 2026…

AI distilled model detection
AI Distilled Model Detection with WM-Basin Technique

Pesquisadores da Meta desenvolveram um método para detectar modelos de IA destilados que identificou 79% das cópias testadas com uma taxa de falsos positivos de 0,1%, sem inspecionar os internos dos modelos suspeitos. A técnica, chamada WM-Basin, tem como alvo modelos treinados com saídas de modelos “professores” com marca d’água e aparece em um artigo publicado em 27 de outubro de 2026.

Principais conclusões

  • WM-Basin examina texto gerado por API em vez de pesos ou logits do modelo.
  • A Meta avaliou a técnica em 1.200 modelos alunos.
  • A detecção sobreviveu a várias modificações de modelo, mas enfraqueceu com ajuste fino em dados limpos e com paráfrases.

Como o WM-Basin detecta modelos de IA destilados

WM-Basin usa um modelo de sondagem separado e limpo para analisar texto gerado por um modelo destilado suspeito. Pesquisadores do Meta FAIR e Meta Superintelligence Labs descrevem a abordagem em “Watermark Basins: Black-Box Detection of Distilled LLMs”, publicada sob arXiv:2610.37266.

O artigo examina um cenário específico de cópia: alguém coleta respostas de um professor com marca d’água por meio de sua API e depois usa essas respostas para treinar um modelo aluno. WM-Basin procura evidências dessa relação de treinamento usando apenas o texto gerado pelo aluno.

O detector passa esse texto por um modelo de sondagem fixo e o converte em representações de gradiente — uma forma de examinar como o treinamento nesse texto moveria os parâmetros da sonda. Em seguida, distingue direções comuns de ajuste fino do alinhamento com uma “bacia de marca d’água” específica de chave no espaço de parâmetros.

Isso torna a técnica uma forma de análise de caixa-preta: o acesso aos pesos ou logits do modelo suspeito é desnecessário. Respostas em texto obtidas por meio de uma API são suficientes para o processo de detecção.

Uma taxa de detecção de 79% em 1.200 modelos alunos

De acordo com os pesquisadores, o WM-Basin alcançou uma taxa de verdadeiros positivos de 79% enquanto manteve a taxa de falsos positivos em 0,1% quando n-gram=1 foi usado, ao passo que o detector de nível de token de caixa-preta mais forte anteriormente conseguiu apenas 29% de verdadeiros positivos sob as mesmas condições.

Os autores observam ainda que, à medida que os limiares de detecção se tornam mais rígidos e as janelas de n-gramas aumentam, a vantagem do WM-Basin sobre concorrentes se amplia.

A avaliação incluiu 1.200 modelos alunos, variando em tamanho de 135 milhões a 8,2 bilhões de parâmetros. Os pesquisadores treinaram esses modelos em rastros de raciocínio matemático extraídos do OpenR1-Math, abrangendo seis famílias de arquiteturas de alunos, vários modelos professores e diversas abordagens de marca d’água.

Esses achados sustentam os ganhos reivindicados pelo artigo na detecção de modelos de IA destilados dentro de sua avaliação de raciocínio matemático.

Quais modificações preservam ou enfraquecem a detecção?

Os pesquisadores descobriram que o sinal de detecção do WM-Basin sobreviveu à quantização, poda e aprendizado por reforço após a distilação. A quantização comprime um modelo para reduzir custos de execução, enquanto a poda remove parâmetros.

O método também permaneceu mais confiável quando sinais em nível de token enfraqueceram, inclusive durante a amostragem em baixa temperatura.

Outras mudanças reduziram sua eficácia. Ajuste fino extensivo em dados limpos, sem marca d’água, degradou a detecção, enquanto parafrasear os rastros de raciocínio do professor forneceu outra rota potencial para evasão. Os autores identificam especificamente o ajuste fino supervisionado contínuo em material sem marca d’água entre essas abordagens.

Evidência de marca d’água para desenvolvedores de IA

A combinação de maior detecção e baixa taxa de alarme falso potencialmente fortalece as evidências baseadas em marca d’água em reivindicações legais ou contratuais sobre cópia de modelos. Para esse uso, a taxa de falsos positivos é especialmente relevante porque mede sinalizações errôneas em vez de identificações bem-sucedidas.

A comparação relatada do WM-Basin combina a mesma taxa de falsos positivos de 0,1% com uma taxa de verdadeiros positivos de 79%, contra 29% para o método anterior em nível de token. Os testes subjacentes usaram modelos alunos treinados em rastros de raciocínio matemático do OpenR1-Math.

Artigo produzido com a ajuda de inteligência artificial e revisado pela equipe editorial.

Francesco Antonio Russo

Todos os artigos de Francesco Antonio Russo