Al aplicar IA a documentos, el resultado debe evaluarse según las exigencias de la tarea. La primera decisión es definir qué se debe extraer y cómo se comprobará.
Delimita la tarea
Extraer campos, clasificar documentos y resumir contenido son tareas distintas. Empieza por una de ellas y describe qué resultado necesitas.
En una extracción, puede tratarse de una tabla de campos. En una clasificación, de una lista de categorías con criterios definidos. Cuanto más claro sea el resultado esperado, más objetiva será la evaluación.
Prepara ejemplos para la comprobación
Reúne una muestra de documentos que represente el contexto de uso, incluyendo diferentes formatos y casos incompletos. Utiliza únicamente materiales cuyo tratamiento esté autorizado.
Para cada ejemplo, registra el resultado esperado o el criterio que una persona utilizaría para comprobar la respuesta. Esto crea una referencia para comparar el comportamiento de la solución.
Decide qué ocurre cuando no hay información
Un campo ausente no debe completarse mediante suposiciones. Define cómo se representa en el resultado la ausencia de información, la duda o la necesidad de revisión.
La revisión debe considerar la importancia de cada campo. Un error en un dato utilizado para tomar una decisión puede requerir un tratamiento distinto al de un detalle meramente descriptivo.
Mantén el vínculo con el documento
Cuando tenga sentido, la solución debe permitir consultar la fuente utilizada para obtener la información. Esto facilita la comprobación y la investigación de discrepancias.
La interfaz y el flujo de trabajo también importan: quien revisa debe poder comprender qué se ha extraído y cómo corregir un resultado.
Evalúa el proceso completo
La prueba no termina con la respuesta del modelo. Considera la recepción de los documentos, la gestión de fallos, la revisión y la forma de entregar los datos al siguiente sistema o a la persona responsable.
La IA es una parte de la solución. Su uso debe responder a una necesidad concreta, con criterios de validación y límites definidos.