RAG e embeddings: como dar ao seu LLM acesso ao conhecimento específico da sua empresa

Você já deve ter ouvido essa pergunta em quase todas as reuniões com clientes: "Como faço para que o LLM utilize MEUS dados, e não informações genéricas da internet?". A resposta curta é: RAG. Vamos destrinchar esse conceito e mostrar como ele pode transformar a forma como sua empresa acessa e utiliza o conhecimento interno.

---

O que é RAG?

RAG (Retrieval-Augmented Generation) significa Geração com Recuperação Aumentada. Em português, poderíamos chamá-lo de "Geração com Base em Recuperação" ou "Sistema de Respostas com Suporte de Dados Internos". A ideia é simples, mas poderosa:

1. Antes de enviar uma pergunta para o LLM, você busca nos seus documentos internos aqueles que são mais relevantes para a dúvida do usuário.
2. Envia para o LLM não apenas a pergunta, mas também esses documentos como contexto.
3. O LLM responde com base nessas informações específicas, garantindo que a resposta seja precisa e alinhada ao seu negócio.

Uma das grandes vantagens do RAG é que o LLM não "aprende" seus dados permanentemente. Ele lê as informações no momento da consulta. Isso significa que, quando você atualiza seus documentos, as respostas do sistema se atualizam automaticamente, sem necessidade de retreinamento.

---

Por que embeddings são fundamentais?

Imagine que sua base de conhecimento possui 5 documentos. Nesse caso, você poderia simplesmente enviá-los todos ao LLM a cada consulta. Mas e se forem 500 ou 5.000 documentos? Isso não só ocuparia espaço demais no contexto do modelo como também seria extremamente caro em termos de processamento e custo.

É aqui que os embeddings entram em cena. Eles transformam seus documentos e perguntas em vetores numéricos que representam o significado de cada texto. Documentos com significados semelhantes terão vetores próximos uns dos outros. Assim, quando um usuário fizer uma pergunta como "qual o valor do serviço", o sistema será capaz de encontrar documentos que mencionam "preço", "orçamento" ou "custo", mesmo que essas palavras não sejam idênticas.

Isso é o que chamamos de busca semântica: uma forma de pesquisa que entende o contexto e o sentido das palavras, e não apenas a correspondência exata de termos.

---

Onde armazenar os vetores? A decisão técnica crucial

Tradicionalmente, os vetores de embeddings são armazenados em bancos de dados vetoriais especializados, como Pinecone, Weaviate, Qdrant ou Chroma. Essa abordagem funciona bem, mas adiciona complexidade ao sistema: mais um banco de dados para manter, mais um fornecedor para pagar e mais um ponto de falha potencial.

Na Tontin, optamos por uma solução diferente: pgvector dentro do Postgres da Supabase. Essa extensão adiciona tipos de dados vetoriais ao Postgres e permite realizar buscas semânticas com SQL simples. As vantagens são claras:

• Um único banco de dados: tanto dados transacionais quanto embeddings são armazenados no mesmo lugar.
• Consistência transacional: quando você salva um documento, os embeddings são atualizados na mesma transação.
• Sem custos extras: você não precisa pagar por um serviço adicional.
• Performance suficiente: para até milhões de vetores, com índices adequados, a performance é excelente.

Embora bancos de dados vetoriais especializados ainda sejam a melhor escolha para cenários de alta escala (dezenas de milhões de vetores ou latência crítica abaixo de 100ms), para 90% dos casos empresariais, o pgvector é mais do que suficiente.

---

O fluxo completo de um sistema RAG em produção

Montar um sistema RAG funcional e escalável envolve cinco etapas principais:

1. Ingestão: carregar documentos, dividi-los em trechos (como parágrafos ou seções), gerar embeddings para cada trecho e armazená-los no banco de dados.

2. Índice vetorial: criar uma estrutura de dados otimizada para buscas rápidas por similaridade (usando algoritmos como HNSW ou IVFFlat).

3. Recuperação (Retrieval): ao receber uma pergunta do usuário, gerar seu embedding e buscar os N trechos mais semelhantes nos documentos armazenados.

4. Composição do prompt: construir o prompt final combinando a pergunta do usuário, os trechos recuperados e instruções claras para o LLM.

5. Geração: enviar o prompt ao LLM e retornar a resposta gerada ao usuário.

Cada uma dessas etapas envolve decisões técnicas que impactam diretamente a qualidade do sistema. Por exemplo:

• Como dividir os documentos? (em parágrafos, seções ou blocos maiores?)
• Quantos trechos recuperar? (2, 5 ou 10?)
• Como evitar que o LLM "invente" respostas quando não encontrar informações suficientes?

---

Casos de uso onde RAG faz a diferença

O RAG é especialmente útil em cenários onde o acesso rápido e preciso a informações internas é crítico. Alguns exemplos práticos:

• Suporte interno: sua equipe pode fazer perguntas em linguagem natural e obter respostas baseadas na documentação real da empresa, como manuais, políticas ou FAQs internas.

• Assistente para clientes: um chatbot que responde dúvidas sobre produtos, termos de serviço ou políticas da empresa, sempre com base em fontes oficiais e atualizadas.

• Onboarding de funcionários: novos colaboradores podem consultar processos, procedimentos e fluxos de trabalho em linguagem natural, acelerando a integração.

• Pesquisa e análise: equipes que trabalham com grandes volumes de material (jurídico, médico ou financeiro) podem realizar buscas semânticas precisas, encontrando informações relevantes mesmo quando os termos exatos não são conhecidos.

---

Conclusão: RAG é um game-changer para empresas com conhecimento documentado

Se sua empresa possui conhecimento espalhado em PDFs, wikis, e-mails e pastas compartilhadas, e você quer que seus colaboradores ou clientes possam acessá-lo de forma natural e eficiente, RAG é provavelmente a solução de IA com o melhor custo-benefício hoje. Comparado ao fine-tuning, RAG é:

• Mais barato: não requer retreinamento de modelos.
• Mais estável: as respostas são sempre baseadas nos documentos mais recentes.
• Mais flexível: você pode atualizar seus dados a qualquer momento sem precisar retreinar o modelo.

Se você está pronto para levar o acesso ao conhecimento da sua empresa a outro nível, fale conosco. Em uma conversa de 30 minutos, podemos avaliar se o RAG é a solução ideal para o seu caso.

---

Por Esteban Aleart, Fundador e Engenheiro-chefe da Pair Programming.