Actividad E.2. Evaluación extrínseca

El objetivo de esta actividad es la definición del escenario concreto en el que se va evaluar extrínsecamente el modelo RESCATA. Esta integración y el escenario darán lugar a una aplicación concreta que servirá para demostrar la validez del modelo a la vez que sentará las bases de la propuesta de una tarea de alto interés actualmente en la comunidad investigadora.

El escenario global es la educación en línea y, más concretamente, los MOOC (Massive Online Open Course), y la tarea concreta que se abordará es la generación automática de preguntas para actividades y exámenes de estos MOOC. Este área de investigación está recibiendo cada vez más atención por la necesidad creada por este tipo de cursos, caracterizados por la cantidad de alumnos potencialmente muy alta y por la necesidad del alumno de realizar una evaluación de calidad que le permita conocer su grado de aprendizaje de forma autónoma, sin asistencia de ningún profesor. La propia dinámica de un MOOC hace casi inevitable buscar la forma de generar rápidamente pruebas objetivas —cuestionarios, el tipo de evaluación más habitual debido a su corrección automática— a partir de los contenidos que ofrece el curso, cometido este que resulta muy complejo incluso para un profesor experto.

No obstante, la dificultad de la tarea ha generado no pocas aproximaciones y ninguna solución definitiva (Fattoh et. al., 2014). Por poner algunos ejemplos, (Afzal et. al., 2011) se centran en las preguntas multiopción y su generación con árboles de dependencias; (Chali y Hasan, 2015) utilizan reglas o patrones de propósito general basadas en entidades nombradas y en las estructuras de los predicados en las oraciones para obtener preguntas del tipo quién, cuándo, dónde y similares; (Gutl et. al., 2011) presentan un sistema que aborda la generación de preguntas de todo tipo, introduciendo multilingualidad, y la participación de estudiantes como expertos que deciden sobre la calidad de esas preguntas; (Hussein et. al., 2014) plantean una aproximación más superficial transformando oraciones del texto original mediante patrones sintácticos; (Mitkov et. al., 2006) y (Papasalouros et. al., 2008) proponen el uso de ontologías.

En nuestro proyecto y en esta actividad, las fuentes de información para la evaluación extrínseca serán cursos ya implementados que disponen de una suficientemente amplia base de documentos y referencias, textos que son el cuerpo principal de formación de esos cursos.

El escenario contempla la generación automática de preguntas de tipo verdadero o falso, de opción múltiple y de rellenado de huecos. El objetivo, a partir del proceso previo de esos textos, del cual se obtienen sus representaciones canónicas, es generar las flexiones que permitan crear la pregunta, la o las respuestas correctas y las respuestas de distracción cuando sean necesarias.

El problema que se aborda en esta tarea es complejo ya que, dependiendo del tipo de pregunta, hay que generar un enunciado, el texto con la respuesta correcta y también el de las respuestas de distracción. No se trata de una extracción literal de los textos académicos, en la mayoría de los casos hay que reformular la pregunta, encontrar y utilizar conceptos relacionados y, finalmente, conseguir una forma gramaticalmente aceptable. Además, es interesante obtener varias versiones de una misma pregunta en aras de una evaluación aleatoria pero homogénea.

Es precisamente el modelo que se propone en este proyecto el que ofrecerá la herramienta adecuada para esta tarea. Las flexiones de los textos permitirán trabajar con todos los niveles del lenguaje para generar, resumir, simplificar o enriquecer los textos fuente de las preguntas. Por añadidura, desde esa representación canónica del texto, para una misma pregunta y su conjunto de respuestas podremos conseguir diferentes redacciones y, por ende, más versatilidad a la hora de confeccionar un instrumento de evaluación docente.

El producto final, por decirlo así, será un banco de preguntas que pueda servir para generar tanto actividades a realizar durante el seguimiento de una lección concreta como exámenes de autoevaluación.

La calidad de este banco de preguntas será evaluada mediante métricas ya conocidas en el estado actual de la investigación en este campo, sin menoscabo de que se propongan nuevas medidas si fuera necesario.

(Fattoh et. al., 2014) Fattoh, I. E., Aboutabl, A. E., & Haggag, M. H. Tapping into the Power of Automatic Question Generation. International Journal of Computer Applications, 103(1). 2014.
(Afzal et. al., 2011) Afzal, N., Mitkov, R., & Farzindar, A. Unsupervised relation extraction using dependency trees for automatic generation of multiple-choice questions. In Advances in Artificial Intelligence (pp. 32-43). Springer Berlin Heidelberg. 2011.
(Chali y Hasan, 2015) Chali, Y., & Hasan, S. A. Towards Topic-to-Question Generation. Computational Linguistics, Vol. 41, No. 1, Pages 1-20. 2015.
(Gutl et. al., 2011) Gutl, C., Lankmayr, K., Weinhofer, J., & Hofler, M. Enhanced Automatic Question Creator--EAQC: Concept, Development and Evaluation of an Automatic Test Item Creation Tool to Foster Modern e-Education. Electronic Journal of e-Learning, 9(1), 23-38. 2011.
(Hussein et. al., 2014) Hussein, H., Elmogy, M., & Guirguis, S. Automatic English Question Generation System Based on Template Driven Scheme. International Journal of Computer Science Issues (IJCSI), 11(6), 45. 2014.
(Mitkov et al., 2006) Mitkov, R., An Ha, L., & Karamanis, N. A computer-aided environment for generating multiple-choice test items. Natural Language Engineering, 12(02), 177-194. 2006.
(Papasalouros et. al., 2008) Papasalouros, A., Kanaris, K., & Kotis, K. Automatic Generation Of Multiple Choice Questions From Domain Ontologies. In e-Learning (pp. 427-434). 2008.