IT 03/2014 - Evaluación extrínseca aplicada a la Generación de Resúmenes

Informe técnico Legolang-UAge 03/2014

Como parte de esta actividad, se ha realizado un estudio general sobre las métricas disponibles para la evaluación de resúmenes automáticos, teniendo en cuenta también la evaluación extrínseca de los mismos. En este tipo de evaluación, el resumen se evalua en el contexto de otra tarea, para decidir si su uso es beneficioso o no para dicha tarea. De esta manera, si los resultados de la tarea en cuestión mejoran con el uso de un resumen, asumiremos que el resumen está bien, independientemente de valorar su contenido y calidad de manera individual.

Se ha observado que la tarea de generación de resúmenes se ha aplicado en diferentes tareas de TLH, como por ejemplo:

• Recuperación de información
• Búsqueda de respuestas
• Proporcionar feedback
• Clasificación de textos
• Minería de opiniones

Sin entrar en detalle en realizar una revisión exhaustiva de la aplicación de los resúmenes en cada una de estas tareas, se proponen las siguientes referencias dónde se detallan evaluaciones intrínsecas de resúmenes:

• Mani, I. 2001. Summarization Evaluation: An Overview. In: Proceedings of the North American chapter of the Association for Computational Linguistics. (NAACL), Workshop on Automatic Summarization, 2001
• Lloret, E. and Palomar, M. 2012. Text summarisation in progress: a literature review. Artif. Intell. Rev. 37, 1 (January 2012), 1-41. DOI=10.1007/s10462-011-9216-z http://dx.doi.org/10.1007/s10462-011-9216-z
• Lloret E. 2011. Text Summarisation based on Human Language Technologies and its Applications. Ph.D Thesis. Universidad de Alicante. June 2011
• Lloret E., Plaza L., Aker A. 2014. The Challenging task of Summary Evaluation: An overview. Submitted to Artificial Intelligence Review, 2014

Se adjunta un documento en formato de presentación que resume los distintos tipos de evaluación para la generación de resúmenes (mismo documento que en Actividad EVAL.INTR).