IA com fontes: como testar um assistente de conhecimento

Por Pietro Makhoul

Arte abstrata da identidade visual Yarih: ia aplicada — horizonte

Um assistente responde rapidamente a uma dúvida sobre o procedimento da empresa. O texto parece claro e inclui um link. Antes de confiar na orientação, porém, é preciso conferir se o documento citado realmente sustenta a resposta e se sua versão está atualizada.

Para um assistente de conhecimento, a avaliação deve ir além de “respondeu bem”. Uma resposta útil precisa respeitar o conteúdo disponível, o acesso do usuário e os limites do que pode ser afirmado. Um piloto pequeno pode tornar essas verificações concretas.

Conectar documentos ajuda, mas não encerra o problema

Na geração aumentada por recuperação, ou RAG, o sistema busca informações em uma base e as usa no processo de geração. O NIST define essa combinação entre modelo e recuperação de informações. Ela oferece um caminho para trabalhar com conteúdo específico, mas ainda é necessário avaliar a resposta produzida.

O perfil de riscos de IA generativa do NIST aborda a produção de conteúdo falso apresentado com confiança, chamada de confabulação. Por isso, uma referência deve ser tratada como algo a verificar. Um link existente pode apontar para um trecho que não diz o que a resposta afirma.

Escolha uma pergunta de negócio delimitada

Um exemplo de piloto seria ajudar uma equipe a consultar instruções de atendimento já aprovadas. Defina quais documentos entram, quem pode acessá-los, quem aprova novas versões e quais assuntos ficam fora do escopo. Evite começar por uma base ampla que misture procedimentos atuais e antigos sem identificação.

A preparação da base e o controle de acesso fazem parte do desenho do sistema. A documentação da Microsoft sobre RAG destaca conteúdo adequado à recuperação e mecanismos para limitar resultados ao conteúdo autorizado. No piloto, teste essa restrição com perfis de usuários diferentes.

Monte um conjunto de perguntas que exponha os limites

Use perguntas reais do processo, revisadas por alguém que conheça os documentos. Para cada pergunta, registre o trecho que deveria sustentar a resposta ou a razão pela qual o assistente deveria informar que não encontrou uma resposta verificável. Inclua situações fáceis, ambíguas e fora do escopo.

  • Perguntas respondidas diretamente por um documento atual.
  • Perguntas que exigem combinar dois trechos compatíveis.
  • Documentos com versões antigas ou informações conflitantes.
  • Assuntos ausentes da base, para avaliar a recusa adequada.
  • Conteúdo restrito, para testar o respeito às permissões.
  • Perguntas com termos diferentes dos usados nos documentos.

Um teste precisa mostrar também os erros

Respostas verificáveis12
Recusas adequadas5
Respostas incorretas3
Simulação fictícia de 20 perguntas, classificadas uma única vez. Escala de 0 a 20 perguntas. Não é uma medição da Yarih nem uma previsão de desempenho de um modelo.

Nessa simulação, cinco recusas são consideradas adequadas porque a resposta esperada era reconhecer a ausência de evidência ou a restrição de acesso. As três respostas incorretas precisam de investigação. Um total agregado, sozinho, não mostra a gravidade de cada erro nem justifica colocar o sistema em produção.

Avalie a evidência e o caminho até a resposta

Na revisão, confira se a afirmação principal é sustentada pela fonte, se o trecho está atualizado e se o usuário poderia acessar aquele conteúdo. Observe também se o assistente explica uma limitação de forma útil. A resposta “não encontrei uma orientação aprovada sobre isso” pode encaminhar a dúvida para o responsável.

Quando houver erro, separe as hipóteses: o documento correto não foi recuperado? A base estava desatualizada? A resposta extrapolou o trecho? Havia conflito entre versões? O ajuste depende desse diagnóstico. Registre a alteração e execute novamente as perguntas afetadas, preservando casos anteriores para detectar regressões.

Critério de aprovação: defina antes do teste quais falhas impedem o uso. Exposição de conteúdo restrito e orientação incorreta em um processo sensível precisam de tratamento específico, mesmo que o restante das respostas pareça bom.

Coloque o piloto em uma rotina de revisão

Comece com usuários e documentos delimitados, um responsável pela base e um canal para relatar respostas problemáticas. Estabeleça quando a solução será reavaliada: mudanças de procedimento, troca do modelo, alteração na busca ou inclusão de conteúdo novo podem mudar seu comportamento.

O resultado do piloto deve mostrar onde o assistente ajuda e onde a equipe continua responsável pela decisão. Com evidências e limites claros, é possível decidir se vale ampliar o uso, ajustar a base ou escolher uma solução mais simples para aquela tarefa.

Na Yarih, este tema faz parte de IA aplicada. Um diagnóstico pode delimitar o problema, as dependências e uma primeira entrega com escopo definido.

Continue a leitura: Indicadores confiáveis: por que dois relatórios discordam.

Referências e aprofundamento