Um assistente responde rapidamente a uma dúvida sobre o procedimento da empresa. O texto parece claro e inclui um link. Antes de confiar na orientação, porém, é preciso conferir se o documento citado realmente sustenta a resposta e se sua versão está atualizada.
Para um assistente de conhecimento, a avaliação deve ir além de “respondeu bem”. Uma resposta útil precisa respeitar o conteúdo disponível, o acesso do usuário e os limites do que pode ser afirmado. Um piloto pequeno pode tornar essas verificações concretas.
Conectar documentos ajuda, mas não encerra o problema
Na geração aumentada por recuperação, ou RAG, o sistema busca informações em uma base e as usa no processo de geração. O NIST define essa combinação entre modelo e recuperação de informações. Ela oferece um caminho para trabalhar com conteúdo específico, mas ainda é necessário avaliar a resposta produzida.
O perfil de riscos de IA generativa do NIST aborda a produção de conteúdo falso apresentado com confiança, chamada de confabulação. Por isso, uma referência deve ser tratada como algo a verificar. Um link existente pode apontar para um trecho que não diz o que a resposta afirma.
Escolha uma pergunta de negócio delimitada
Um exemplo de piloto seria ajudar uma equipe a consultar instruções de atendimento já aprovadas. Defina quais documentos entram, quem pode acessá-los, quem aprova novas versões e quais assuntos ficam fora do escopo. Evite começar por uma base ampla que misture procedimentos atuais e antigos sem identificação.
A preparação da base e o controle de acesso fazem parte do desenho do sistema. A documentação da Microsoft sobre RAG destaca conteúdo adequado à recuperação e mecanismos para limitar resultados ao conteúdo autorizado. No piloto, teste essa restrição com perfis de usuários diferentes.
Monte um conjunto de perguntas que exponha os limites
Use perguntas reais do processo, revisadas por alguém que conheça os documentos. Para cada pergunta, registre o trecho que deveria sustentar a resposta ou a razão pela qual o assistente deveria informar que não encontrou uma resposta verificável. Inclua situações fáceis, ambíguas e fora do escopo.
- Perguntas respondidas diretamente por um documento atual.
- Perguntas que exigem combinar dois trechos compatíveis.
- Documentos com versões antigas ou informações conflitantes.
- Assuntos ausentes da base, para avaliar a recusa adequada.
- Conteúdo restrito, para testar o respeito às permissões.
- Perguntas com termos diferentes dos usados nos documentos.
Um teste precisa mostrar também os erros
Nessa simulação, cinco recusas são consideradas adequadas porque a resposta esperada era reconhecer a ausência de evidência ou a restrição de acesso. As três respostas incorretas precisam de investigação. Um total agregado, sozinho, não mostra a gravidade de cada erro nem justifica colocar o sistema em produção.
Avalie a evidência e o caminho até a resposta
Na revisão, confira se a afirmação principal é sustentada pela fonte, se o trecho está atualizado e se o usuário poderia acessar aquele conteúdo. Observe também se o assistente explica uma limitação de forma útil. A resposta “não encontrei uma orientação aprovada sobre isso” pode encaminhar a dúvida para o responsável.
Quando houver erro, separe as hipóteses: o documento correto não foi recuperado? A base estava desatualizada? A resposta extrapolou o trecho? Havia conflito entre versões? O ajuste depende desse diagnóstico. Registre a alteração e execute novamente as perguntas afetadas, preservando casos anteriores para detectar regressões.
Critério de aprovação: defina antes do teste quais falhas impedem o uso. Exposição de conteúdo restrito e orientação incorreta em um processo sensível precisam de tratamento específico, mesmo que o restante das respostas pareça bom.
Coloque o piloto em uma rotina de revisão
Comece com usuários e documentos delimitados, um responsável pela base e um canal para relatar respostas problemáticas. Estabeleça quando a solução será reavaliada: mudanças de procedimento, troca do modelo, alteração na busca ou inclusão de conteúdo novo podem mudar seu comportamento.
O resultado do piloto deve mostrar onde o assistente ajuda e onde a equipe continua responsável pela decisão. Com evidências e limites claros, é possível decidir se vale ampliar o uso, ajustar a base ou escolher uma solução mais simples para aquela tarefa.
Na Yarih, este tema faz parte de IA aplicada. Um diagnóstico pode delimitar o problema, as dependências e uma primeira entrega com escopo definido.
Continue a leitura: Indicadores confiáveis: por que dois relatórios discordam.
Referências e aprofundamento
- NIST: Retrieval Augmented Generation — definição de RAG.
- NIST AI 600-1: Generative Artificial Intelligence Profile — riscos de IA generativa, incluindo confabulação.
- Microsoft Learn: RAG in Azure AI Search — recuperação, preparação de conteúdo e controle de acesso. O conjunto de teste e o gráfico deste artigo são fictícios.
