Para encontrar uma informação em centenas de páginas, a IA precisa saber onde procurar. Chunks dividem o conteúdo em partes menores, enquanto embeddings ajudam o sistema a reconhecer o significado de cada parte.
Eles são parte comum do RAG, uma forma de fazer a IA consultar informações antes de responder.
O que são chunks
Um chunk é apenas um trecho menor de um conteúdo maior.
Um manual com cem páginas, por exemplo, não precisa ser entregue inteiro para a IA a cada consulta. O sistema pode dividi-lo em trechos menores, procurando preservar parágrafos, frases e partes relacionadas.
Cada uma dessas partes é um chunk. A ideia é manter em cada trecho informação suficiente para que ele faça sentido sozinho.
O que são embeddings
Um embedding é uma representação numérica do significado de um texto. Ele não é um resumo e não foi feito para ser lido por uma pessoa.
Uma biblioteca organizada por assunto ajuda a visualizar esse processo. Livros sobre temas parecidos ficam próximos, mesmo que seus títulos usem palavras diferentes. Os embeddings fazem algo semelhante com os textos.
Por exemplo, as frases “Como cancelar minha assinatura?” e “Quero encerrar meu plano” usam palavras diferentes, mas possuem significados próximos. Os embeddings ajudam o sistema a perceber essa relação.
Como trabalham juntos
Na prática, as etapas mais comuns são:
- Um documento é enviado ao sistema.
- O conteúdo é dividido em chunks.
- Cada chunk recebe um embedding.
- A pergunta do usuário também recebe um embedding.
- O sistema encontra os trechos com significado mais próximo da pergunta.
- Apenas os trechos mais relevantes são usados para preparar a resposta.
Esse processo permite consultar grandes volumes de conteúdo sem enviar tudo para o modelo a cada pergunta.
Um exemplo real
Considere uma indústria com manuais de manutenção de diferentes equipamentos. Uma pessoa pergunta: “Qual é o procedimento para religar a máquina depois de uma parada de emergência?”
O sistema compara o significado da pergunta com os chunks armazenados, encontra o trecho correspondente no manual e utiliza essa parte como contexto para responder.
Não é necessário que a pergunta repita exatamente as mesmas palavras do documento. O objetivo é encontrar o conteúdo pelo significado.
Por que a divisão importa
Chunks muito pequenos podem perder informações importantes. Chunks muito grandes podem misturar vários assuntos e dificultar a busca.
Uma boa divisão preserva frases, parágrafos e ideias relacionadas. Em alguns casos, uma pequena parte do chunk anterior pode ser repetida no próximo para evitar que uma explicação seja cortada ao meio.