Por que a IA erra quantos R tem em strawberry

A inteligência artificial não lê letra. O texto é picado em pedaços chamados tokens — no tokenizador do GPT-4, strawberry vira algo como str, aw e berry — e cada pedaço vira um número. Contar letras dentro de um número que representa um pedaço inteiro é um trabalho que o modelo nunca fez.

É o equivalente a perguntar quantas letras tem uma palavra para alguém que só conhece aquela palavra por uma figura. A figura está certa, o significado está certo, mas a informação que você pediu não está lá dentro.

Isso explica um padrão que parece contraditório: o mesmo sistema que escreve um texto complexo tropeça numa pergunta que uma criança responde. As duas tarefas não são difíceis na mesma escala para ele — uma usa exatamente o que ele aprendeu, a outra exige enxergar abaixo do nível em que ele trabalha.

Por que os modelos novos acertam

Os modelos mais recentes, que escrevem um raciocínio antes de responder, costumam acertar. Não porque passaram a ver letras, e sim porque soletram a palavra no caminho: ao escrever s-t-r-a-w-b-e-r-r-y, cada letra vira um token próprio, e aí a contagem acontece num material que ele consegue manipular.

A dica prática sai direto daí: se precisar contar letras, peça para ela soletrar primeiro. Vale para qualquer tarefa que dependa da forma escrita da palavra, não do sentido dela.