Ao aplicar IA a documentos, o resultado precisa ser avaliado pelo que a tarefa exige. A primeira decisão é definir o que deve ser extraído e como será conferido.
Delimite a tarefa
Extrair campos, classificar documentos e resumir conteúdo são tarefas distintas. Comece por uma delas e descreva qual saída é necessária.
Em uma extração, isso pode significar uma tabela de campos. Em uma classificação, uma lista de categorias com critérios definidos. Quanto mais claro o resultado esperado, mais objetiva será a avaliação.
Prepare exemplos para conferência
Reúna uma amostra de documentos que represente o contexto de uso, incluindo formatos diferentes e casos incompletos. Utilize apenas materiais cujo tratamento esteja autorizado.
Para cada exemplo, registre o resultado esperado ou o critério que uma pessoa usaria para conferir a resposta. Isso cria uma referência para comparar o comportamento da solução.
Decida o que acontece quando não há informação
Um campo ausente não deve ser preenchido por suposição. Defina como a saída representa ausência, dúvida ou necessidade de revisão.
A revisão deve considerar a importância de cada campo. Um erro em uma informação usada para tomar uma decisão pode exigir um tratamento diferente de um detalhe apenas descritivo.
Mantenha o vínculo com o documento
Quando fizer sentido, a solução deve permitir consultar a fonte utilizada para obter a informação. Isso facilita a conferência e a investigação de divergências.
A interface e o fluxo também importam: quem revisa precisa conseguir entender o que foi extraído e como corrigir um resultado.
Avalie o processo completo
O teste não termina na resposta do modelo. Considere o recebimento dos documentos, o tratamento de falhas, a revisão e a forma de entregar os dados ao próximo sistema ou à pessoa responsável.
A IA é uma parte da solução. Sua utilização deve responder a uma necessidade concreta, com critérios de validação e limites definidos.