Qualquer pessoa que já passou algum tempo conversando com um assistente de IA provavelmente percebeu o seguinte: faça a mesma pergunta de algumas maneiras diferentes e, muitas vezes, você receberá respostas estranhamente semelhantes. Essa repetição tem um nome nos círculos de pesquisa em IA — colapso de modos (mode collapse) — e um novo estudo analisa por que isso acontece e, mais importante, o que pode ser feito a respeito. A pesquisa, de autoria de Kirill Skobelev, Eric Fithian e X.Y. Han e publicada em setembro de 2026, investiga a diversidade de saída de LLMs e conclui que a história é mais sutil do que os alertas recentes da área sugeriam.
Sumário
Principais conclusões
- O colapso de modos acontece quando grandes modelos de linguagem produzem saídas que se repetem ou se assemelham entre si mais do que a população real de respostas que deveriam refletir.
- Problemas de diversidade podem ir para qualquer lado — modelos podem ser pouco diversos (under-diverse) ou superdispersos (over-dispersed), dependendo do modelo específico e do conjunto de dados.
- Dados suficientes de fine-tuning supervisionado puxam a diversidade de saída de um modelo em direção à distribuição-alvo na qual ele foi treinado.
- O próprio fine-tuning não carrega nenhum viés embutido em direção a colapsar a diversidade ou inflá-la — a direção depende dos dados disponíveis.
- A diferença entre a diversidade de um modelo e a do alvo real é matematicamente limitada pela raiz quadrada da divergência KL entre as duas distribuições.
Colapso de Modos e Problemas de Diversidade em Grandes Modelos de Linguagem
Colapso de modos descreve um problema simples, porém consequente: quando um LLM é solicitado repetidamente com o mesmo tipo de pergunta, suas respostas começam a se parecer muito mais entre si do que deveriam. Trabalhos anteriores de Doshi e Hauser (2024), Bisbee et al. (2024) e Xie et al. (2026) apontaram isso como uma preocupação recorrente, argumentando que as saídas dos modelos tendem a ser pouco diversas em comparação com a população de respostas que deveriam representar.
O artigo leva essa preocupação a sério, mas a torna mais complexa. Em vez de tratar o colapso de modos como uma falha fixa, incorporada ao funcionamento dos LLMs, o estudo argumenta que o fato de um modelo colapsar em direção à mesmice — ou oscilar para o outro extremo, com dispersão excessiva — depende inteiramente do modelo específico e do conjunto de dados em que foi treinado. Não há um veredito universal aqui; o resultado muda de caso para caso.
Definição e Métricas de Colapso de Modos
Para tornar isso mensurável em vez de anedótico, a pesquisa se baseia em uma métrica concreta: a probabilidade de que duas respostas, amostradas de forma independente a partir do mesmo prompt fixo, acabem coincidindo entre si. Os pesquisadores chamam isso de probabilidade de “colisão”, e ela também pode ser expressa como a similaridade esperada entre duas saídas sob uma função kernel. Isso fornece um controle numérico sobre algo que normalmente é descrito apenas em termos vagos como “repetitivo” ou “sempre igual”.
Variabilidade da Diversidade entre Modelos e Conjuntos de Dados
O que emerge dessa abordagem de medição é que a subdispersão não é o único modo de falha que merece atenção. Alguns modelos e conjuntos de dados empurram a diversidade de saída para baixo demais, ecoando a preocupação com colapso de modos levantada em pesquisas anteriores. Outros fazem o oposto, espalhando as respostas mais amplamente do que a distribuição do mundo real justificaria. Ambos são formas de descalibração, e ambos importam para qualquer pessoa que dependa de um LLM para refletir um leque realista de respostas semelhantes às humanas — seja para simulação de pesquisas, escrita criativa ou geração de código.
Impacto do Fine-Tuning Supervisionado na Diversidade de Saída
O fine-tuning acaba sendo a alavanca que determina para que lado a diversidade pende — e, de forma encorajadora, ele pode se corrigir com dados suficientes. A afirmação central do artigo é que, com dados suficientes de fine-tuning supervisionado, a diversidade de saída de um modelo converge para a diversidade da distribuição-alvo da qual os dados de fine-tuning foram extraídos. Em termos simples: alimente o modelo com exemplos representativos em quantidade suficiente e a distribuição de suas respostas começa a corresponder à realidade, em vez de derivar para qualquer um dos extremos.
Efeito do Volume de Dados de Fine-Tuning
Isso não é apenas um detalhe teórico. Em todos os experimentos realizados pelos pesquisadores, adicionar mais dados-alvo durante o fine-tuning moveu de forma consistente a diversidade do modelo para mais perto do referencial humano ou sintético que ele deveria imitar. Esse padrão se manteve quer a tarefa subjacente envolvesse linguagens sintéticas, respostas de pesquisas com humanos ou problemas de programação, sugerindo que o efeito não está ligado a um caso de uso estreito.
Ausência de Viés Inerente em Direção ao Colapso de Modos
Talvez o achado mais contraintuitivo seja que o fine-tuning supervisionado não carrega uma inclinação inerente para colapsar a diversidade ou inflá-la. O fine-tuning com amostra finita — isto é, feito com uma quantidade limitada e realista de dados, em vez de um conjunto ideal infinito — pode deixar um modelo tanto subdisperso quanto superdisperso, e qual dos dois ocorre depende do modelo e do conjunto de dados envolvidos, e não de alguma falha estrutural no próprio processo de fine-tuning. Isso é importante para o debate em andamento sobre o colapso de modos em modelos de linguagem: ele reformula a questão de “o fine-tuning causa colapso” para “o resultado do fine-tuning depende de quanto e de que tipo de dado você fornece”.
Arcabouço Teórico e Validação
Para explicar por que a diversidade deriva para um lado ou para o outro, o estudo constrói um arcabouço matemático em vez de se apoiar apenas em observação — e então testa esse arcabouço em experimentos reais em domínios bem diferentes.
Decomposição Viés-Variância da Lacuna de Diversidade
Os pesquisadores derivam o que chamam de decomposição viés-variância da lacuna esperada entre a probabilidade de colisão de um modelo e a probabilidade de colisão do alvo. Esse é o mecanismo por trás da conclusão de “nenhum viés inerente”: ele separa o erro sistemático do erro aleatório, impulsionado pela amostra, mostrando matematicamente por que dados finitos podem empurrar as coisas em qualquer direção, dependendo do sorteio.
Limite Matemático via Divergência KL
O artigo também estabelece um limite rígido sobre o quão errada a calibração de diversidade pode ficar. A lacuna absoluta entre a diversidade do modelo e a do alvo é limitada pela raiz quadrada da divergência de Kullback-Leibler — uma medida padrão de quão diferente uma distribuição de probabilidade é de outra — indo da distribuição-alvo para o modelo. A consequência prática: um modelo que já está próximo do ótimo sob treinamento padrão de entropia cruzada simplesmente não pode ter uma diversidade extremamente descalibrada. Em outras palavras, um bom modelamento de linguagem impõe um teto sobre o quão grave o problema de diversidade pode ser.
Validação Empírica em Experimentos Diversos
Nada disso permanece puramente teórico. A equipe testou tanto a decomposição quanto o limite baseado em KL em três cenários experimentais distintos: pequenos modelos transformer treinados em linguagens sintéticas, quatro LLMs ajustados com dados de pesquisas com humanos e os mesmos quatro LLMs ajustados com o CodeNet, um conjunto de dados construído a partir de soluções de código escritas por humanos. Essa variedade — de linguagens artificiais a dados de opinião humana e problemas reais de programação — dá às conclusões uma base mais ampla do que um único caso de teste estreito daria.
Nos três cenários, o padrão se manteve: mais dados-alvo durante o fine-tuning aproximaram a diversidade do modelo do referencial humano ou sintético, exatamente como a teoria previa. Essa consistência é o que transforma isso de uma curiosidade matemática interessante em algo com peso prático para qualquer pessoa que esteja construindo ou ajustando modelos de linguagem.
Por que Isso Importa para o Desenvolvimento de IA
A implicação prática é direta: a descalibração de diversidade em LLMs não é uma falha permanente de projeto — é em grande parte um sintoma de erro de amostra finita que diminui à medida que o fine-tuning se aproxima melhor da distribuição-alvo real. Isso reformula a calibração de modelos em IA mais como um problema de dados do que de arquitetura. Equipes preocupadas com saídas repetitivas ou excessivamente erráticas podem descobrir que a solução está menos em redesenhar o modelo e mais em expandir ou refinar o próprio conjunto de dados de fine-tuning.
Isso também atenua parte do alarme levantado em pesquisas anteriores sobre LLMs serem categoricamente pouco diversos. As conclusões dos autores sugerem que a realidade é mais caso a caso: alguns modelos colapsam em direção à mesmice, outros se espalham demais, e a direção depende da combinação específica de modelo e conjunto de dados — não de alguma tendência universal incorporada ao modo como grandes modelos de linguagem funcionam.
FAQ
O que é colapso de modos em grandes modelos de linguagem?
Colapso de modos refere-se a saídas de LLM que se repetem ou se assemelham entre si com mais frequência do que a distribuição-alvo indica.
Como o fine-tuning supervisionado afeta a diversidade de saída de LLMs?
Dados suficientes de fine-tuning supervisionado alinham a diversidade de saída de LLMs mais de perto com a distribuição de dados-alvo, reduzindo o colapso de modos ou a superdispersão.
O fine-tuning supervisionado é inerentemente tendencioso a aumentar ou diminuir a diversidade?
Não, o fine-tuning supervisionado não é inerentemente tendencioso em direção ao colapso de modos ou ao seu oposto; efeitos de amostra finita podem causar subdispersão ou superdispersão.
Quais ferramentas teóricas são usadas para entender a descalibração de diversidade em LLMs?
Uma decomposição viés-variância e um limite envolvendo a raiz quadrada da divergência KL descrevem a lacuna entre a diversidade de saída do modelo e a do alvo.
Artigo produzido com a assistência de inteligência artificial e revisado pela equipe editorial.




