O que é RAG

Pensa numa prova. Sem RAG, a inteligência artificial responde de cabeça, só com o que viu no treino. Com RAG, ela faz a prova com consulta: o sistema busca nos seus documentos os trechos que combinam com a pergunta, e só então o modelo responde, lendo esses trechos.

Como a busca acha o trecho certo

Não é busca por palavra igual. Cada pedaço de documento é convertido numa lista de números que representa o sentido daquele texto — dois trechos que falam da mesma coisa com palavras diferentes ficam perto um do outro nessa representação. A pergunta passa pela mesma conversão, e o sistema devolve os trechos mais próximos.

Esses trechos entram junto com a sua pergunta no que o modelo lê. Daí o nome: geração aumentada por recuperação. O modelo continua fazendo o que sempre fez; o que mudou é que ele tem o material na frente.

De onde veio

O termo nasceu num artigo de 2020 de pesquisadores do Facebook AI, que usaram a Wikipédia picada em 21 milhões de pedaços como a base a ser consultada.

Por que não é mágica

Porque a resposta depende inteiramente da busca. Se o trecho recuperado for o errado, o modelo responde com confiança em cima do material errado — e o resultado parece tão bem escrito quanto o certo. Boa parte do trabalho de quem constrói esses sistemas não está no modelo, está em picar os documentos direito e conferir o que a busca devolve.