Como a IA cria uma música a partir de uma frase

Para o computador, som é só uma lista de números: 44.100 deles por segundo, por canal, na qualidade de CD. É muita coisa para prever de uma vez, e é por aí que começa o problema.

O caminho dos tokens

A saída é comprimir. Um codec aprende a representar o som em tokens — algo como sílabas de áudio — e aí um transformer faz com esses tokens exatamente o que uma LLM faz com texto: prever o próximo. O que você escreve funciona como guia dessa previsão.

O MusicGen, da Meta, é um exemplo público desse desenho: codec de 32 kHz, cinquenta passos por segundo, treinado com 20 mil horas de música licenciada.

O outro caminho: difusão

Em vez de prever o próximo pedaço, a difusão começa com chiado puro e vai limpando, passo a passo, até sobrar música. É a mesma ideia por trás dos geradores de imagem, aplicada a áudio — o Stable Audio trabalha assim.

Os dois caminhos chegam a uma faixa pronta por rotas diferentes, e cada um tem seus compromissos de velocidade e de controle sobre o resultado.