O que é uma LLM e como ela funciona

LLM quer dizer grande modelo de linguagem. É o que está por trás do ChatGPT, do Claude e do Gemini, e por mais que o resultado pareça conversa, a operação é uma só: prever qual é o próximo pedaço de texto.

Do texto até o número

O texto é picado em tokens, pedaços que às vezes são uma palavra inteira e às vezes um naco dela. Cada token vira um número, e é só com números que o modelo trabalha — ele nunca vê a letra.

Esses números passam pelo transformer, a arquitetura apresentada por pesquisadores do Google em 2017. O que ela faz de especial é decidir quais palavras prestam atenção em quais: num texto longo, o modelo consegue ligar um pronome ao nome certo lá atrás, porque aprendeu quanto peso dar a cada ligação.

No fim da conta, sai uma probabilidade para cada token possível. O sistema escolhe um, cola no texto e recomeça — agora com uma palavra a mais de contexto. Palavra por palavra, é assim que o parágrafo aparece.

De onde vêm essas probabilidades

Dos parâmetros: os números internos ajustados durante o treino. O GPT-3, de 2020, já tinha 175 bilhões deles. O treino acontece em duas fases — primeiro ler uma montanha de texto, depois ser ajustado com notas dadas por pessoas sobre quais respostas são boas.

Essa segunda fase explica por que a resposta soa prestativa e bem escrita. E a primeira explica por que ela às vezes inventa: o modelo gera o que é provável, não necessariamente o que é verdadeiro. São coisas diferentes, e ele não tem como saber a diferença sozinho.