Actividad E.1. Evaluación intrínseca

El objetivo de esta actividad es el análisis y la definición de un conjunto de métricas que nos permitan evaluar de manera intrínseca la representación canónica y sus flexiones. Se pretende abarcar métricas tanto cualitativas como cuantitativas capaces de medir la validez de lo desarrollado en el proyecto, y debido a lo novedoso de la propuesta será necesario analizar qué métricas de las utilizadas hasta el momento son aplicables y qué métricas nuevas específicas serían necesarias.

Puesto que la representación canónica y sus flexiones necesitan de los diferentes niveles de análisis del lenguaje utilizados en las TLH —nivel léxico, nivel sintáctico y nivel semántico—, en esta tarea se analizarán las diferentes métricas cuantitativas —como precisión y cobertura entre otras—, que hasta el momento se han estado aplicando a la evaluación de diferentes aplicaciones de TLH. El objetivo de este análisis es determinar qué métricas podrían ser de utilidad para la evaluación.

Alternativamente, las mediciones cualitativas llevadas a cabo por expertos proporcionan la información necesaria para saber en qué debe mejorarse el sistema. Puesto que en este proyecto se considera fundamental la intervención del usuario, definiendo perfiles de usuario para determinar sus necesidades de información a la hora de ofrecerle flexiones del texto de partida, también se explorarán las métricas utilizadas en tareas que requieren participación exhaustiva del usuario.

Además, será necesario explorar qué nuevas métricas específicas para la evaluación de la representación canónica de un texto y sus flexiones, pueden ser necesarias.