Listado de buenas prácticas

M-eRoDes: metodologías activas y tecnologías semánticas aplicadas a la creación y evaluación automática de recursos de aprendizaje

Finalista en el Premio Santander correspondiente al año 2016, concedido por la Cátedra Banco Santander de la Universidad de Zaragoza. Más información en https://catbs.unizar.es/articulos/premiados-2016-2

Aprendizaje colaborativo, clase invertida, recursos audiovisuales

Trabajo desarrollado por los profesores Pedro Javier Álvarez Pérez-Aradros y Sandra Baldassarri, del Departamento de Informática e Ingeniería de Sistemas de la Universidad de Zaragoza.

Habitualmente los profesores elaboramos material docente con el objetivo de guiar y ayudar a nuestros estudiantes en su proceso de aprendizaje. En esta actuación de innovación docente hemos pretendido impulsar un cambio de enfoque, combinando nuestra experiencia docente con nuestro perfil investigador. El objetivo es que los estudiantes elaboren y compartan sus propios recursos de aprendizaje y, posteriormente, estos recursos se utilicen para enseñar a sus compañeros. En este modelo de aprendizaje‐enseñanza centrado en el estudiante es clave la evaluación de la calidad de los recursos de aprendizaje creados y de su utilidad en el proceso de enseñanza: ¿los estudiantes aprenden?, ¿lo que aprenden corresponde con los objetivos de enseñanza de la asignatura?, ¿los recursos que están creando les ayudan a alcanzar estos objetivos?, etc. Esta evaluación no debería suponer una sobrecarga de trabajo para el profesor. Por este motivo, un segundo objetivo es que la evaluación sea automática e inmediata, realimentando constantemente al estudiante sobre el desarrollo de su proceso particular de aprendizaje y al profesor sobre el proceso de enseñanza de la asignatura.

Desde un punto de vista metodológico, este nuevo proceso ha sido implantado en base a técnicas de aprendizaje colaborativo e intergrupal y técnicas de clase invertida. Estas técnicas se han combinado y plasmado en un programa de actividades de aprendizaje que durante el curso 2015‐2016 se ha puesto en práctica en la asignatura de “Diseño Centrado en el Usuario. Diseño Multimedia” (DCU). Esta asignatura está programada en el 4º curso del Grado en Ingeniería en Informática impartido en la Escuela de Ingeniería y Arquitectura (EINA) de la Universidad de Zaragoza. Su elección no es casualidad. En DCU los estudiantes aprenden a trabajar con técnicas multimedia y éstas las ponen a su vez en práctica para elaborar recursos audiovisuales con los que aprenderán y enseñarán. No obstante, para estudiar la idoneidad del cambio de enfoque con otro perfil de estudiantes, también aplicamos el proceso en una asignatura del Máster Universitario en Ingeniería Informática durante el mismo curso; concretamente, en la asignatura de “Tecnologías y Modelos para el Desarrollo de Aplicaciones Distribuidas” (TMDAD).

Por otro lado, el mercado no ofrecía ninguna aplicación software que nos permitiera implantar el nuevo método de enseñanza‐aprendizaje y programar, controlar y evaluar su programa de actividades. Por este motivo, se decidió desarrollar una solución propia, aprovechando nuestra experiencia como investigadores en el contexto de la computación distribuida, los entornos y aplicaciones Web, y las tecnologías semánticas y multimedia. En vez de programar una aplicación “ad‐hoc” monolítica, se impulsó el desarrollo de una arquitectura de servicios Web orientados a soportar éste y otros modelos de enseñanza similares. En esta arquitectura, llamada M‐eRoDes (el acrónimo del sistema tiene su origen en proyecto que en 2014 inició nuestra actividad de innovación docente y que pretendía la “crEación participativa de RecursOs Docentes Etiquetados Semánticamente”), juega un papel clave la semántica, tanto en la creación y almacenamiento de los recursos como en la evaluación automática de las actividades de enseñanza‐aprendizaje. La solución es abierta e interoperable y, a partir de ella, se han programado distintas aplicaciones Web que utilizan los estudiantes para cursar la asignatura. Además, el uso de tecnologías novedosas incrementa la motivación de los estudiantes, hasta el punto de que se ofrecen voluntariamente a colaborar en el desarrollo de la arquitectura de servicios (por ejemplo, como parte de sus trabajos de fin de grado), poniendo en práctica lo que han aprendido en otras asignaturas del grado.

Pedro Javier Álvarez Pérez-Aradros

alvaper@unizar.es

Semipresencial

Zaragoza

Grado en Ingeniería en Informática – Máster Universitario en Ingeniería Informática

Diseño Centrado en el Usuario. Diseño Multimedia – Tecnologías y Modelos para el Desarrollo de Aplicaciones Distribuidas

2015-16

Los objetivos de la actuación de innovación docente son de tipo metodológico y tecnológico. A continuación se enumeran cada uno de estos objetivos y se discute la relación y alineamiento entre ellos.

Desde un punto de vista metodológico, la experiencia docente pretende que los estudiantes alcancen un nivel de aprendizaje más profundo. Los propios estudiantes se sitúan en el centro del proceso de enseñanza‐aprendizaje de la asignatura, convirtiéndose en aliados de la innovación docente. Este modelo de experiencia está alineado directamente con las líneas estratégicas de actuación del Campus de Excelencia Internacional Iberus, del cual forma parte la Universidad de Zaragoza. Los objetivos metodológicos concretos son:

• Impulsar un método docente donde los estudiantes elaboren sus propios recursos de aprendizaje. Un recurso de aprendizaje consta de un vídeo donde se introducen y explican unos contenidos determinados, una descripción de cuáles son los objetivos de enseñanza‐aprendizaje concretos asociados al recurso (estos objetivos se describen por medio de una estructura semántica de representación de conocimiento), y un test adicional para evaluar el aprendizaje desde una perspectiva complementaria.
• Clasificar y contextualizar automáticamente los recursos de aprendizaje creados en los objetivos de enseñanza de la asignatura.
• Programar la docencia de la asignatura en torno a los recursos de aprendizaje creados por los estudiantes. En este sentido, se han definido y puesto en práctica tres modelos de actividad: actividades en grupo para elaborar nuevos recursos de aprendizaje (colaborativa y semipresenciales), actividades individuales para aprender en base a los recursos que crearon otros compañeros (no presenciales), y clases invertidas a partir de los recursos creados (una parte no presencial y otra presencial).
• Disponer de mecanismos que permitan evaluar automáticamente si un nuevo recurso de aprendizaje enseña lo que debería (en función de los objetivos concretos de enseñanza asociados a sus contenidos) y si los estudiantes al trabajar con él aprenden lo esperado (contrastar lo que aprenden con respecto los objetivos de enseñanza).
• Realimentar de manera inmediata a los estudiantes sobre el desarrollo de su aprendizaje. Este objetivo implica la definición de una colección de indicadores de aprendizaje y la puesta en marcha de métricas que se puedan calcular automáticamente cuando el estudiante trabaja con los recursos disponibles.
• Realimentar de manera inmediata al profesor sobre el desarrollo del proceso de enseñanza‐aprendizaje del curso. En este caso, el análisis se realizará a partir de los indicadores de aprendizaje que van obteniendo los estudiantes. Se pretende identificar qué recursos de aprendizaje no están consiguiendo los resultados esperados, qué estudiantes están teniendo problemas en su aprendizaje, si estos problemas son puntuales o globales, etc.
• Realizar encuestas de opinión a los estudiantes a final del curso con objeto de conocer su percepción sobre el nuevo método docente, las fortalezas y debilidades de la propuesta, los cambios que introducirían y su valoración de los resultados.
• Implantar un sistema de control de esfuerzos que nos permita conocer la dedicación real de los estudiantes a la asignatura. Esta información no será utilizada con fines evaluativos, sino simplemente para estudiar si el esfuerzo real es compatible con la carga ECTS de la asignatura y si la distribución de esfuerzos por semanas es compatible con el trabajo, pruebas de evaluación y entregas de trabajos de otras asignaturas.
• Trabajar y potenciar competencias transversales cruciales en su futuro profesional: trabajo en grupo, búsqueda y selección de información, espíritu crítico, capacidad de síntesis, discusión, presentación oral de contenidos e, incluso, idiomas (se incentivará la elaboración de recursos de aprendizaje en inglés).
• Motivar a nuestros estudiantes e involucrarlos directamente y jugando un papel activo en el proceso de enseñanza‐aprendizaje de la asignatura.

Por otro lado, queremos que el nuevo método docente esté inmerso en un marco tecnológico innovador que resulte motivante para los estudiantes. Por este motivo, desde una perspectiva tecnológica, los objetivos que pretendemos alcanzar son:

• Diseñar y programar un sistema software que ayude a los estudiantes y profesores en las distintas actividades programadas en el marco del nuevo método docente. Este sistema consta de una plataforma de servicios, llamada M‐eRoDes, y un conjunto de aplicaciones Web.
• M‐eRoDes debe ofrecer funcionalidad para:
  • crear cursos, matricular estudiantes y describir los objetivos de enseñanza-aprendizaje a alcanzar,
  • crear, clasificar y almacenar los recursos de aprendizaje creados por los estudiantes,
  • representar en base a estructuras de conocimiento lo que un estudiante cree haber aprendido al trabajar con un recurso de aprendizaje disponible,
  • evaluar automáticamente el proceso de aprendizaje en base a las estructuras de conocimiento anteriores y proporcionar una realimentación inmediata de sus resultados al estudiante,
  • generar informes que sinteticen los resultados de aprendizaje de un estudiante,
  • generar informes que analicen el proceso de enseñanza y sus resultados,
  • guardar información detallada de todas las actividades que realizan los distintos usuarios con el sistema.
• Construir M‐eRoDes con la idea de sostenibilidad y transferibilidad, es decir, el objetivo final es que se convierta en una fuente rica en recurso de aprendizaje que puedan reutilizarse en los distintos cursos de una misma asignatura o en distintas asignaturas.
• Aplicar modelos semánticos de representación del conocimiento para expresar los objetivos de enseñanza de un curso o un recurso, los contenidos de un recurso y lo que un estudiante percibe que aprende. Estas representaciones semánticas permiten automatizar la gestión de los recursos disponibles en el sistema, la calidad de los recursos elaborados, y la evaluación del aprendizaje.
• Diseñar M‐eRoDes como una arquitectura orientada a servicios accesibles vía Red y programar la solución en base a las últimas tecnologías Web. La solución será abierta e interoperable e integrará servicios ya disponibles en Internet que puedan resultar de utilidad.
• Programar una aplicación Web, llamada “Tutor de Aprendizaje”, que soporte el desarrollo de las asignaturas que se quieren impartir en base al nuevo modelo de enseñanza. Esta aplicación integrará los de servicios M‐eRoDes.

Además de estos objetivos metodológicos y tecnológicos, también se pretende:

• Implantar el modelo durante el curso 2015‐2016 en una asignatura de grado y otra de máster, dentro del contexto de la titulación de Ingeniería en Informática (EINA, UZ). Concretamente, en las asignaturas de “Diseño Centrado en el Usuario. Diseño Multimedia” y “Tecnologías y Modelos para el Desarrollo de Aplicaciones Distribuidas”, respectivamente. Estas asignaturas son impartidas por los profesores involucrados.
• Difundir los resultados en foros nacionales e internacionales de innovación docente e investigación en docencia.
• Divulgar la experiencia y el sistema software para que otros profesores de nuestro entorno incorporen los resultados a sus asignaturas.

Obviamente, los objetivos son ambiciosos e implican una carga de trabajo inicial importante desde el punto de vista de los profesores. Por este motivo, consideramos de interés resumir brevemente el origen y el transcurso del proyecto M‐eRoDes. En el curso 2014‐2015, dentro de la Convocatoria de Innovación Docente de la Universidad de Zaragoza, nos concedieron un proyecto PRAUZ para comenzar a trabajar en el nuevo modelo docente que hemos implantado. Durante este primer año, el esfuerzo se centró en el diseño del programa de actividades y el desarrollo de una primera versión del sistema software. A partir de estos resultados, pusimos en práctica la experiencia en el año 2015‐2016. Mencionar también que durante este segundo año, la Universidad de Zaragoza nos concedió un nuevo proyecto de innovación docente PIIDUZ para continuar con nuestro trabajo. Los resultados que obtuvimos durante esta primera experiencia (que es lo que se presenta en esta solicitud) nos realimentaron para mejorar nuestra propuesta inicial. La Universidad nos ha concedido un tercer proyecto de innovación PIIDUZ, durante el año 2016‐2017, para elaborar esa segunda versión del método y difundir los resultados. En la sección de indicadores y resultados se proporciona información completa sobre estos proyectos de innovación.

También debemos mencionar el papel importante que han jugado los propios estudiantes, ayudándonos en el desarrollo del sistema software M‐eRoDes. En algunos casos esta colaboración ha sido a través de su Trabajo Fin de Grado y, en otros casos, por medio de prácticas en empresa. Este interés nos animó a desarrollar una solución tecnológicamente atractiva e innovadora, de forma que su participación les reportara un conocimiento tecnológico que les fuera útil en el mercado profesional, una vez finalizaran sus estudios.

La metodología docente se basa en determinados tipos de actividades donde el estudiante, bien individualmente o en grupo, adquiere un papel protagonista en el proceso de enseñanza-aprendizaje. El objetivo de esta sección es presentar algún ejemplo de estas actividades, haciendo especial hincapié en el papel que juega el sistema software M‐eRoDes en su gestión y desarrollo. En nuestro modelo de actividades y en M‐eRoDes es clave la semántica, tanto para representar el conocimiento como para evaluar los procesos de enseñanza‐aprendizaje. Por este motivo, antes de describir el método docente aplicado y las actividades realizadas, se introduce y detalla los distintos usos y aplicaciones que se hace de la semántica y sus tecnologías.

Representación del conocimiento por medio de estructuras semánticas

Un elemento clave de nuestra solución es el tipo de estructura de conocimiento elegida para expresar los objetivos de la enseñanza (qué se pretende enseñar a través de un recurso de aprendizaje) y los resultados del aprendizaje (qué cree un estudiante que ha aprendido al trabajar con el recurso). Como parte de la actividad de innovación se propone el uso de estructuras semánticas de tipo “Topic Maps” (TM). Los TM se popularizaron a principios de los años 90 para describir el índice y los contenidos de los libros electrónicos. Un TM es un grafo de información que representa un conjunto de temas (nodos del grafo) y las relaciones entre estos temas (arcos). En el contexto de M‐eRoDes, en vez de representar temas, los nodos corresponden con conceptos involucrados en el proceso de enseñanza‐aprendizaje. Además, hemos extendido la estructura básica de los TM con dos elementos adicionales: los nodos tienen asociado un peso numérico que representa la importancia del concepto en el contexto y las relaciones tienen asociada una etiqueta textual que enriquece su semántica. Esta versión extendida de este modelo de estructuras semánticas recibe el nombre de “Labelled Topic Maps” (LTM).

La Figura 1 muestra el LTM correspondiente a un vídeo disponible en “TED Talks”. Este mapa ofrece una visión resumida de los principales contenidos expuestos en el vídeo, desde la perspectiva de un usuario particular (en este caso, uno de los profesores involucrados en la experiencia). A nivel de notación, los óvalos representan los conceptos de interés de la presentación audiovisual y las flechas las relaciones entre estos conceptos. Cada relación está etiquetada con un verbo que refina el significado de la asociación dirigida entre dos conceptos. Además, cada concepto tiene asociado un indicador de relevancia que representa su importancia en el contexto de la presentación (círculo de color gris): 3 es una importancia significativa y 1 una importancia menor. Intuitivamente, se puede observar que el vídeo trata sobre el papel que pueden jugar los niños en el desarrollo de aplicaciones móviles y discute si las herramientas actuales para el diseño/desarrollo de aplicaciones estén pensadas para que sean utilizadas por estos pequeños programadores.

Semántica en el almacenamiento de los recursos y en la evaluación del aprendizaje

La semántica juega un papel clave en la gestión y acceso a estos recursos y en la evaluación automática de las actividades de aprendizaje basadas en su uso. En esta sección se explican los distintos escenarios donde interviene la semántica.

Creación de la Red de Contenidos de una asignatura

En la guía docente de una asignatura se detalla el programa, los contenidos y los resultados de aprendizaje esperados. A partir de esta información es posible construir un modelo de conocimiento que describa los conceptos clave que se tratan en la asignatura, así como las relaciones existentes entre ellos. En nuestra aproximación, este modelo recibe el nombre de Red de Conocimiento de la asignatura y ofrece una abstracción de alto nivel de los principales descriptores de la asignatura.

El sistema M‐eRoDes integra funcionalidad para crear automáticamente esta red de conocimiento cuando se da de alta una asignatura. El profesor introduce la guía docente (opcionalmente, el sistema también puede procesar otro material de referencia, por ejemplo, lecciones de cursos anteriores) y el sistema proceso el texto que contiene y extrae los términos más significativos. Posteriormente, se aplica el algoritmo ADEGA (publicado en “Semantic linking of learning object repositories to DBpedia”, M. Lama, J.C. Vidal, E. Otero‐García, A. Bugarín, S. Barro. Educational Tecnhology & Society, Vol. 15, No. 4, pp. 47‐61, 2012) sobre estos términos y, en base a los conceptos y relaciones contenidos en la DBpedia (la ontología obtenida en base a los contenidos de la Wikipedia), se obtiene un grafo de conocimiento que relaciona los términos y los contextualiza. Una simplificación de este grafo es la red de conocimiento.

Todos los recursos de aprendizaje que crean los estudiantes y almacenan en M‐eRoDes se relacionan posteriormente con los conceptos de esta red. De esta forma, cada concepto clave del curso tiene asociado el conjunto de recursos que lo introducen o explican. Obviamente, un recurso puede estar relacionado con más de un concepto. Al final, se dispone de una red de conceptos y recursos que facilita la gestión de estos últimos, mejora el buscador de recursos del sistema, y facilita el poder automatizar determinadas actividades donde intervienen los recursos disponibles.

Almacenamiento y etiquetado de un recurso de aprendizaje

Un recurso de aprendizaje incluye un vídeo donde se explican los contenidos correspondientes, un LTM que describe lo que se pretende enseñar con el recurso (llamado, LTM de Referencia, LTM‐Ref) y un test de autoevaluación. Cuando un estudiante o un profesor crean un nuevo recurso de aprendizaje lo almacena en el sistema M‐eRoDes para que esté accesible. Como parte del proceso de almacenamiento, el sistema extrae automáticamente el contenido del recurso (el audio de un vídeo) y lo transforma a texto. Después, se extraen los términos más significativos del texto, se ponderan en base a su importancia en el contexto del recurso, y se analiza su similaridad semántica y grado de sinonimia con respecto los nodos de la red de conocimiento que describe los contenidos globales del curso. De esta forma, es posible etiquetar el recurso y contextualizar su contenido. Estas etiquetas semánticas se utilizan posteriormente en la búsqueda de recursos y en la programación de actividades en base a objetivos de enseñanza‐aprendizaje.

M‐eRoDes también integra funcionalidad para validar y mejorar el etiquetado automático de recursos. Cuando un estudiante utiliza un recurso, puede utilizar la funcionalidad de la plataforma para opinar si las etiquetas corresponden con lo que enseña el recurso y/o proponer nuevas etiquetas. Aunque a día de hoy aún está implementado, también existe la posibilidad de mejorar las etiquetas iniciales a partir de la información semántica descrita en el LTM de referencia asociado al propio recurso.

Evaluación automática del aprendizaje

Por otro lado, la semántica y las estructuras LTM definidas también juegan un papel clave en los mecanismos de evaluación automática de MeRoDes. Cuando un estudiante utiliza un recurso como parte de su proceso de aprendizaje expresa por medio de un LTM lo que cree que ha aprendido. Este LTM recibe el nombre de LTM de aprendizaje (LTM‐Ap). El sistema “compara» automáticamente este LTM con el LTM de referencia del recurso con propósito de realimentar de manera inmediata al estudiante sobre su proceso de aprendizaje. Esta comparación de estructuras está basada en teoría de grafos (en esencia, un LTM es un grafo enriquecido). En la versión actual de M‐eRoDes están programados distintos algoritmos de similaridad y correspondencia de grafos y algoritmos de búsqueda de caminos en grafos. En base a estos algoritmos se calcula una serie de indicadores que determinan si los estudiantes identifican los conceptos clave y son capaces de relacionarlos adecuadamente, si ignoran determinados conceptos de interés y cómo esto condiciona el resto del aprendizaje, o si comprenden lo mismo que el resto de sus compañeros, entre otras cosas. En este análisis juega un papel importante la semántica y la sinonimia a nivel de conceptos y relaciones. Por ejemplo, en LTM de la Figura 1 aparece el concepto “educador». Un estudiante podría representar en su LTM de aprendizaje el concepto “profesor», siendo ambos conceptos equivalentes (este tipo de equivalencias también tiene lugar entre las etiquetas de las relaciones). Los algoritmos implementados son capaces de determinar estas equivalencias y calcular los indicadores en base a la sinonimia y la semántica de los conceptos y sus relaciones.

Los indicadores de aprendizaje no sólo resultan de utilidad para los estudiantes, sino también para los profesores. M‐eRoDes genera informes compactos y en forma de tablas de colores que proporcionan información a los docentes sobre el transcurso del proceso de aprendizaje: qué recursos se están usando (y cuántas veces), qué resultados de aprendizaje obtienen los estudiantes (a través del análisis de los LTM y los test), en qué parte del aprendizaje están teniendo problemas, etc.

Ejemplos de actividad de enseñanza‐aprendizaje implantados

El nuevo método docente se basa en un programa de actividades donde los estudiantes trabajan con los recursos de aprendizaje que ellos mismos elaboran. En esta sección se presentan dos ejemplos distintos de actividad de enseñanza‐aprendizaje que hemos implantado en las asignaturas objeto de esta actuación de innovación.

El objetivo concreto de la primera actividad es que los estudiantes trabajen en grupo para crear un recurso de aprendizaje y, posteriormente, sus compañeros aprendan determinados contenidos utilizando este nuevo recurso disponible. La actividad incluye la evaluación del recurso desde el punto de vista de la enseñanza y la evaluación del proceso de aprendizaje de los estudiantes que lo utilizan. La Figura 2 muestra el esquema general de la actividad y sus cuatro fases. Nótese que en la figura también se representan las interacciones con el sistema software de M‐eRoDes, aunque en esta sección no se profundiza en los detalles concretos.

En la Fase 0 el profesor propone el tema del nuevo recurso de aprendizaje y describe por medio de un LTM los contenidos relevantes que deberían ser abordados.

El objetivo de la Fase 1 es crear una primera versión del recurso de aprendizaje. Inicialmente, los estudiantes se organizan en grupos de tres personas (esta configuración puede variar en función del número de estudiantes matriculados en el curso). Esta primera fase consiste en dos tareas secuenciales: la búsqueda de contenidos y la creación del recurso de aprendizaje. En la primera tarea cada estudiante individualmente busca en Internet material (documentos audiovisuales o textuales, páginas Web, aplicaciones Web, blogs de discusión, etc.) que podrían ser de utilidad para crear el nuevo recurso. Posteriormente, los tres estudiantes que forman el grupo se reúnen, valoran y discuten la utilidad de los materiales encontrados y, finalmente, deciden cuáles de estos usarán para crear la primera versión del recurso. La segunda tarea consiste en crear el vídeo del recurso de aprendizaje en cuestión a partir de los materiales seleccionados. El vídeo será de una duración aproximada entre 5 y 7 minutos. Como paso previo a la grabación del vídeo los estudiantes deben elaborar un guion que les ayude a realizar una exposición concisa, coherente y bien argumentada del tema. Los miembros del grupo también deben diseñar el LTM que describa los conocimientos que han pretendido transmitir y un test con preguntas de opción múltiple que permita evaluar si los que usen su recurso adquirieron estos conocimientos.

Una vez creados los distintos elementos del recurso de aprendizaje, éste es almacenado en el sistema M‐eRoDes. El sistema clasifica automáticamente el nuevo recurso en la red de conocimiento del curso en base a su contenido. Esta clasificación se realiza aplicando técnicas de procesamiento de audio y texto y tecnología semántica.

La Fase 2 de la actividad se realiza individualmente. El estudiante accede al recurso creado por sus compañeros, lo usa para aprender el tema propuesto y, finalmente, expresa por medio de un LTM (LTM de aprendizaje, LTM‐Ap) lo que cree que ha aprendido y el conocimiento adquirido (¿qué conceptos guían la línea argumental?, ¿qué conceptos son los más relevantes?, ¿cuál es la relación entre los conceptos introducidos?, etc.). El sistema M‐eRoDes facilita al estudiante la visualización del vídeo (una o más veces), la creación del LTM de aprendizaje y realización del test asociado al recurso de aprendizaje. Además, M‐eRoDes proporciona una realimentación inmediata al estudiante sobre su proceso de aprendizaje. El sistema muestra una serie de indicadores de aprendizaje que son calculados por dos procedimientos diferentes: por un lado, se “comparan” desde una perspectiva semántica el LTM de los creadores del recurso (qué se pretende enseñar) con el LTM del estudiante que lo usa (qué cree que ha aprendido); y, por otro lado, se evalúa el test de conocimientos. Estos indicadores se representan en una escala de colores que ofrece una visión rápida e intuitiva del resultado obtenido.

Finalmente, en la Fase 3 el grupo que creó el recurso de aprendizaje genera una segunda versión mejorada del mismo. El grupo tiene acceso a un resumen de bajo nivel de los indicadores de aprendizaje obtenidos por sus compañeros. La interpretación de esta información detallada sirve para identificar problemas en el proceso de aprendizaje y diseñar una versión mejorada del recurso. Esta segunda versión se almacena en M‐eRoDes, de forma que los estudiantes de este curso (o futuros cursos) puedan seguir trabajando con los recursos disponibles.

En paralelo, los profesores valoran el trabajo realizado por los estudiantes y el desarrollo de la propia actividad (tarea de evaluación de la actividad). En esta evaluación juega un papel importante los indicadores de aprendizaje que le proporciona el sistema sobre el proceso global que tiene lugar en el marco de la actividad.

Por último, mencionar que los estudiantes deben controlar el tiempo que dedican a cada tarea de las distintas fases. Estos informes de dedicación pretenden medir el esfuerzo realizado por los estudiantes y dimensionar adecuadamente la actividad y el curso, en general. En ningún caso influyen en sus calificaciones finales.

Por otro lado, también se han implantado actividades conforme el modelo de “clase invertida” (del inglés, “flipped‐classroom”). La Figura 3 muestra el esquema general de este tipo de actividades y las interacciones que tienen lugar con el sistema software M‐eRoDes.

En general, estas actividades constan de cuatro fases. Inicialmente, M‐eRoDes almacena determinados recursos de aprendizaje (creados previamente por estudiantes o por el profesor) que se utilizan para introducir al estudiante en un cierto tema de interés en torno al cual gira la actividad. En la Fase 1, el estudiante trabaja con estos recursos de aprendizaje y cumplimenta un test que evalúa el conocimiento inicial que ha adquirido. Esta primera fase tiene una fecha límite. Después, en la Fase 2, el profesor accede a los resultados de los test de los estudiantes y evalúa el desarrollo del aprendizaje autónomo. Estos resultados no tienen un reflejo en las calificaciones de los estudiantes, sino que sirven para preparar la sesión presencial que tiene lugar en la Fase 3, por ejemplo, para identificar problemas o carencias en el aprendizaje inicial o preparar y hacer accesibles nuevos recursos de aprendizaje que ayuden en el desarrollo de la sesión.

La fase 3 tiene una parte común, en la que los estudiantes acceden a determinados recursos de aprendizaje para profundizar en sus conocimientos de partida, y la parte configurable en función de los objetivos concretos de la actividad. Esta última parte se ha denominado “Aprendizaje grupal” y puede consistir en: organizar a los estudiantes en dos grupos y que tengan que defender/argumentar posturas contrapuestas en torno al tema de la actividad, debatir activamente cómo aplicar los conocimiento adquiridos a casos prácticos reales, o contextualizar lo aprendido con otros temas ya vistos en ésta u otras asignaturas, por ejemplo. En cualquier caso, esta sesión presencial tiene un carácter grupal, una naturaleza dinámica y activa y está inspirada en el modelo de “clase invertida”.

Por último, en la Fase 4, una vez finalizada la sesión presencial, los estudiantes cumplimentan un nuevo test de conocimientos que evalúa el aprendizaje final. Los resultados de estos test son de utilidad al profesor para analizar la realización de la actividad y el aprendizaje individual adquirido. Además, al igual que en el modelo de actividad anterior, los estudiantes registran el esfuerzo que dedican a cada una de las fases.

Obviamente, una cuestión importante es el número de alumnos matriculados en la asignatura. Este tipo de actividades están orientadas a grupos reducidos. En nuestro caso particular, durante el curso 2015‐2016, la matrícula en la asignatura de “Diseño Centrado en el Usuario. Diseño Multimedia” fue de 14 estudiantes, y en “Tecnologías y Modelos para el Desarrollo de Aplicaciones Distribuidas” de 7 estudiantes.

La propuesta de innovación docente tiene una componente metodológica que supone un cambio en la forma de impartir las asignaturas involucradas. Esta metodología requiere de soluciones informáticas que automaticen los procesos de enseñanza-aprendizaje, desde el punto de vista del estudiante y del profesor. Como se mencionó en las secciones previas, no existe ninguna herramienta software que ofrezca funcionalidad específica para implantar esta metodología. Por este motivo, se adoptó la decisión de desarrollar como parte de la actividad de innovación un nuevo sistema software, llamado M-eRoDes, que sustentase los distintos tipos de actividades de enseñanza-aprendizaje.

La Figura 4 muestra una abstracción de alto nivel del sistema programado. M-eRoDes es una infraestructura orientada a servicios diseñada conforme las pautas de la arquitectura SOA (del inglés, “Service-Oriented Architecture”). Sus servicios son accesibles vía Red a través de interfaces o API’s públicas. Como se representa en la Figura 4, la funcionalidad de estas interfaces permite crear y almacenar recursos de aprendizaje, clasificar semánticamente estos recursos en las redes de conocimiento del sistema, aprender usando los recursos disponibles y evaluar automáticamente este proceso de aprendizaje (en base a las estructuras semánticas LTM que se han definido), y acceder a informes sobre los resultados de las distintas actividades. Esta funcionalidad requiere integrar tecnologías Web, semánticas y multimedia, entre otras.

Otra cuestión importante de la infraestructura de M-eRoDes es su naturaleza abierta e interoperable. Internamente, interacciona con otros servicios disponibles en Internet para proporcionar la funcionalidad anteriormente mencionada. Por ejemplo, en su versión actual integra algunos de los servicios ofertados por la plataforma “IBM Cloud Bluemix” [IBM Bluemix], el servicio semántico de “WordNet” [WordNet], y el servicio de sinonimia de “Wordnik” [Wordnik].

Por otro lado, los distintos actores representados en la parte de arriba de la Figura 4 no interaccionan directamente con los servicios de M-eRoDes. Para el curso 2015-2016 (y siguientes) se programó una aplicación Web, llamada “Tutor de Aprendizaje”, que implementa la metodología docente que hemos implantados en nuestras asignaturas. Esta aplicación se presentará en detalle en las siguientes secciones. No obstante, es importante darse cuenta que la infraestructura de servicios favorece el desarrollo de otras aplicaciones que trabajen con recursos de aprendizaje, es decir, la solución es reutilizable para otros modelos docentes.

A continuación, se detalla la funcionalidad ofrecida por la infraestructura de servicios, se presenta su diseño arquitectural de alto nivel y se enumeran las distintas tecnologías integradas en la solución. Para finalizar se muestra la aplicación Web “Tutor de aprendizaje” programada para gestionar las actividades de enseñanza-aprendizaje previamente propuestas.

Descripción funcional de M-eRoDes

Los servicio de la plataforma M-eRoDes ofrecen funcionalidad para:

• gestionar los usuarios de la plataforma (profesores y estudiantes, principalmente) y analizar el comportamiento de estos usuarios durante sus sesiones (análisis basado en los ficheros log del sistema),
• crear/almacenar nuevos recursos de aprendizaje y etiquetarlos automáticamente desde una perspectiva semántica a partir de su contenido,
• crear nuevos cursos, dando de alta los usuarios que participarán en él, los recursos que tendrán inicialmente a su disposición y la red de conocimiento que describe los objetivos de enseñanza,
• acceder/buscar recursos de aprendizaje y cursos disponibles en la plataforma,
• realizar y evaluar test de conocimiento relacionados con los recursos de aprendizaje disponibles,
• calcular distintos indicadores que evalúan el nivel de aprendizaje de un estudiante cuando trabaja con un recurso concreto,
• calcular informes a partir de los indicadores de aprendizaje de un curso. Estos informes están dirigidos a los profesores y ofrecen una visión compacta sobre el desarrollo del proceso de enseñanza-aprendizaje,
• acceder a históricos de aprendizaje desde el punto de vista de un curso, un estudiante o un recurso concreto.

Esta funcionalidad básica se puede combinar para programar determinadas tareas relacionadas con el proceso enseñanza-aprendizaje: crear y configurar un nuevo curso a partir de determinados recursos de aprendizaje disponibles, involucrar a los estudiantes en la elaboración de sus propios recursos de aprendizaje, enseñar utilizando los recursos creados y compartidos por los estudiantes, aprender y autoevaluarse utilizando estos recursos, etc. Estas tareas no son específicas de un curso concreto. Por este motivo, la plataforma también ofrece esta funcionalidad compleja en forma de artefactos reutilizables y fácilmente integrables en las aplicaciones finales. Este segundo nivel funcional implementa fragmentos de la lógica de negocio que requieren las aplicaciones de enseñanza-aprendizaje cuando programan cursos y actividades concretas.

Arquitectura de M-eRoDes

La Figura 5 muestra la arquitectura de tres niveles de la infraestructura M-eRoDes y sus aplicaciones Web.

El nivel inferior consta del núcleo de servicios básicos de la infraestructura. Estos servicios son responsables de la gestión y el acceso a las fuentes de información del sistema (usuarios, cursos, recursos de aprendizaje, históricos, etc.), la clasificación semántica de los recursos, la evaluación del proceso de aprendizaje y el análisis del comportamiento de los usuarios, entre otras cosas. La funcionalidad de estos servicios es accesible a través de interfaces “RESTful” (conexiones representadas en color negro; por simplicidad la API de la mayoría de ellos se ha abstraído a nivel del núcleo completo de servicios). En algunos casos, esta funcionalidad se ha programado a partir de librerías y servicios externos a M-eRoDes (componentes representados en color gris en la figura).

Dos de los servicios clave de la solución son compuestos. Por un lado, el servicio que gestiona los “Recursos de Aprendizaje” integra al servicio responsable de la “Anotación Semántica” de los recursos y un gestor privado de contenidos. El servicio de anotación consta internamente de una secuencia de tareas que han sido programadas a partir de librerías y servicios disponibles en la Web: extracción del audio del recurso (librería JAVE), transformación del audio a texto (servicios de la plataforma “IBM Cloud Bluemix”), extracción de términos relevantes del texto (librería JATE), y anotación semántica del recurso y equivalencia de las anotaciones con respecto los conceptos de la ontología del curso (un algoritmo propio de anotación basado en “WordNet” -equivalencia semántica- y “WordNik” -sinonimia-). Por otro lado, el servicio de “Análisis de Indicadores de Aprendizaje” integra la funcionalidad de cinco servicios básicos, cuatro públicos (gestión de usuarios, gestión de recursos de aprendizaje, “WordNet” y “WordNik”) y uno privado de la plataforma (análisis de grafos). Este último encapsula los algoritmos que permiten «comparar» los LTM de aprendizaje y referencia: similaridad (semántica) a nivel de conceptos y relaciones, similaridad estructural entre dos LTM, similaridad semántica entre dos LTM, identificación de caminos equivalentes en dos LTM, etc. La interpretación de los resultados de estos algoritmos facilita el cálculo de los indicadores de aprendizaje de una actividad.

Los datos del sistema se almacenan principalmente en una base de documentos “MongoDB”, excepto los vídeos y las imágenes asociadas a los recursos de aprendizaje que se almacenan en el sistema de ficheros del servidor donde está desplegado el gestor de contenidos. En la base de documentos no sólo se guarda información organizativa (usuarios, cursos, o recursos), sino que también contiene todos los datos que se producen durante las actividades de aprendizaje (todos los mapas de referencia y aprendizaje, todos indicadores de aprendizaje que son calculados, los resultados de los test, la actividad de los distintos cursos, etc.). Es importante destacar que las descripciones de los recursos de aprendizaje están basadas en el estándar IEEE-LOM [IEEE-LOM] y su perfil LOM-ES [LOM-ES].

El segundo nivel de la arquitectura consta de un conjunto de “workflows” que implementan actividades reutilizables y de interés para las distintas aplicaciones de enseñanza-aprendizaje, por ejemplo, la configuración de un nuevo curso, la creación de un recurso, o la programación y evaluación de una actividad de aprendizaje basada en el uso de los recursos disponibles en el sistema. Estos “workflows” están programados a partir de la funcionalidad ofrecida por los servicios básicos de la plataforma. La Figura 6 representa la estructura del “workflows” que corresponde con la realización y evaluación inmediata de una actividad de aprendizaje. Las tareas en color gris son orientadas a servicio, representando la etiqueta el servicio concreto con el que interacciona: el estudiante busca un recurso por palabras clave, reproduce su contenido, representa el LTM de aprendizaje a partir del cual se evalúan los indicadores y, opcionalmente, realiza un test de autoevaluación.

Finalmente, el tercer nivel arquitectural está formado por aplicaciones Web programadas a partir de los “workflows” y servicios básicos de M-eRoDes. La aplicación “Tutor de aprendizaje” permite a los estudiantes acceder a sus cursos y aprender en base a los recursos de aprendizaje disponibles en cada uno de ellos, conforme a los modelos de actividad previamente descritos.

Tecnologías integradas

El objetivo de esta sección es presentar las distintas tecnologías que se han integrado en M-eRoDes y sus aplicaciones.

En general, los servicios básicos de la infraestructura M-eRoDes están programados fundamentalmente utilizando “Swagger” (programación de las API) [Swagger], “Node.js” [NodeJS] y código Java. Además, algunos servicios concretos integran librerías o servicios disponibles, como por ejemplo:

• El servicio de “Anotación Semántica” utiliza: la librería “Java Audio Video Encoder” (JAVE) [JAVE] para extraer el audio de un vídeo, el servicio “Speech to Text” de la plataforma “IBM Cloud Bluemix” [IBM-Bluemix], la librería “Java Automatic Term Extraction toolkit” (JATE) [JATE] para extraer los términos más significativos de un texto, y el algoritmo ADEGA y la ontología DBpedia [DBpedia] para crear la red semántica de contenidos de los cursos y anotar semánticamente los términos más significativos. Estas anotaciones semánticas están en formato RDF (“Resource Description Framework”) [RDF], estándar del consorcio W3C (“World Wide Web Consortium”). Además, para el procesado de recursos en formato PDF también se utiliza la librería “Apache PDFBox” [PDFBox].
• El servicio de “Análisis de Indicadores de Aprendizaje” integra los servicios accesibles vía Red “WordNet” [WordNet] y “Wordnik” [Wordnik], para resolver las cuestiones de similaridad semántica y grado de sinonimia involucrado en los procesos de cálculo de los indicadores.
• El servicio de “Gestión de Usuarios” integra la librería “Nodemailer” [Nodemailer] para la comunicación vía correo electrónico con los usuarios registrados.
• El servicio de “Análisis de sesiones” integra la librería “WinstonJS” [Winston] para registrar en ficheros log toda la actividad de los usuarios cuando trabajan con las aplicaciones desarrolladas sobre la infraestructura de M-eRoDes. De momento, en su estado actual el servicio todavía no integra mecanismos de analítica que permitan extraer información de interés a partir de estos ficheros log.
• Finalmente, mencionar que La programación de los “workflows” está basada en código “JavaScript”, de esta forma se facilita su integración posterior en las aplicaciones finales implementadas en “AngularJS” [AngularJS].

Aplicación “Tutor de aprendizaje”

A partir de los servicios y “workflows” de M-eRoDes se ha programado la aplicación “Tutor de aprendizaje”. Esta aplicación facilita el acceso a los cursos impartidos conforme a la nueva metodología docente, a los recursos de aprendizaje disponibles, a las distintas actividades programadas durante el curso (incluye, los procesos de evaluación automática del aprendizaje), y a los históricos de los indicadores de aprendizaje. La aplicación también incluye una ayuda en línea.

Desde el punto de vista de la gestión, la aplicación tiene 4 tipos de usuarios: administrador del sistema, profesor y dos tipos de estudiantes (los que tienen permiso para crear nuevos recursos de aprendizaje y trabajar con los disponibles, y los que sólo tienen permiso para trabajar con los recursos ya existentes).

Un usuario profesor puede crear un nuevo curso. Esta tarea implica describir la información básica del curso, importar el listado de estudiantes matriculados y registrarlos automáticamente en el sistema, crear la Red de Conocimiento del curso, y asociar a las actividades del curso los recursos de aprendizaje que ya existen en el sistema y se van a reutilizar en las nuevas actividades. El profesor también puede crear nuevos recursos de aprendizaje, programar actividades conforme los modelos metodológicos descritos anteriormente, acceder a otros cursos y recursos de la plataforma, y a los históricos de aprendizaje de sus estudiantes.

Por otro lado, un usuario estudiante puede crear un nuevo recurso de aprendizaje. Esta tarea implica la descripción de la información básica del recurso conforme el estándar IEEE-LOM, la creación del LTM de referencia, subir el vídeo o documento que explica los contenidos a la plataforma y el test de evaluación. Un estudiante también puede acceder a sus cursos, buscar recursos de aprendizaje disponibles en la plataforma, acceder a sus históricos de indicadores de aprendizajes y completar las actividades que le propone el profesor. Estas actividades suelen implicar reproducir los contenidos audiovisuales (pantalla de la Figura 7), crear los LTM de aprendizaje (Figura 8, en la versión actual de la herramienta el LTM se crea en formato texto y, opcionalmente, se puede subir un fichero en formato imagen con la representación gráfica del LTM; la siguiente versión del sistema integrará una herramienta gráfica), cumplimentar los test y ver/analiza los indicadores de aprendizaje que obtiene (Figura 9).

Finalmente, también mencionar que la aplicación “Tutor de Aprendizaje” tiene un usuario especial, llamado “usuario-desarrollador”. Éste puede acceder a la API de la infraestructura de servicios de M-eRoDes a través de sus API públicas e integrar nuevas funcionalidades en la aplicación tutor, por ejemplo, programar nuevos modelos de actividades de enseñanza-aprendizaje. Con este tipo de usuarios permitimos la posibilidad de extender las posibilidades de la aplicación de cara a futuros cursos. Las Figuras 10 (a) y (b) muestran la interfaz de desarrollo disponible como parte de la propia aplicación tutor.

A continuación, se enumeran las contribuciones e innovaciones más destacadas de la actividad propuesta, desde un punto de vista metodológico y tecnológico:

• Se ha propuesto un nuevo modelo de enseñanza‐aprendizaje donde los protagonistas son los estudiantes. Durante las sesiones presenciales (en el aula o el laboratorio), o incluso en casa, los estudiantes aprenden creando sus propios recursos de aprendizaje y trabajando con los que elaboraron sus compañeros. El papel del profesor es guiar y supervisar este trabajo, ocupando un lugar secundario en el modelo de enseñanza-aprendizaje.
• El modelo de enseñanza‐aprendizaje integra un sistema de evaluación automático basado en el uso de estructuras de conocimiento y técnicas semánticas. El estudiante recibe un “feedback” continuo e inmediato sobre el desarrollo de su proceso de aprendizaje. Además, esta información ayuda al profesor a controlar el transcurso de la enseñanza y reaccionar ante situaciones no deseadas. En la bibliografía científica y docente no hemos encontrado ningún sistema de evaluación de estas características.
• Las actividades de aprendizaje integradas en la propuesta motivan el trabajo autónomo de los estudiantes y el desarrollo de competencias transversales claves en su formación: trabajo en grupo (para elaborar nuevos recursos, defender una posición en una “clase invertida”, etc.), búsqueda de información y material en la Red, capacidad de síntesis (al elaborar los guiones de los vídeos o exponer argumentos en las “clases invertidas”, etc.), análisis crítico (al interpretar los indicadores de aprendizaje que obtienen y modificar/mejorar su aprendizaje, al evaluar los recursos elaborados por sus compañeros, en las tareas de discusión de las “clases invertidas”, etc.), o la realización de presentaciones (audiovisuales) y defensa de opiniones.
• Este enfoque de enseñanza‐aprendizaje incrementa la motivación de los estudiantes y su participación en la asignatura: dedican esfuerzo a los recursos que crean porque sus compañeros van a trabajar con ellos, se sienten orgullosos cuando sus compañeros valoran positivamente sus recursos, sienten que contribuyen al éxito de la asignatura y les satisface “enseñar” y compartir los conocimientos que adquieren a nivel individual.
• La propia asignatura es un “caso de estudio práctico”. En las competencias y resultados de aprendizaje de “Diseño Centrado en el Usuario. Diseño Multimedia” se establece que los estudiantes deben aprender a trabajar con herramientas multimedia y Web. En el sistema de enseñanza‐aprendizaje propuesto los estudiantes aprenden estas herramientas aplicándolas a la elaboración de los propios recursos de aprendizaje, es decir, “aprenden aprendiendo”.
• La actividad de innovación integra técnicas inter‐grupales, metodologías activas, “clases invertidas” e, incluso, la información que se dispone automáticamente de los indicadores de aprendizaje facilita el “justing time teaching”. Por tanto, apuesta por estrategias y metodologías que mejoran la calidad del proceso de enseñanza-aprendizaje.
• Otra cuestión muy importante es que la propuesta está tecnológicamente sustentada por la infraestructura de servicios M‐eRoDes y la aplicación “Tutor de Aprendizaje”.
• A nivel de investigación en el área de las “Tecnologías del Aprendizaje” (en inglés “elearning technologies”) , M‐eRoDes presenta algunas contribuciones muy interesantes: su sistema de etiquetado semántico es automático (la mayoría de los sistemas de aprendizaje lo tienen manual y dirigido por el usuario), las anotaciones semánticas en vez de ser conceptos de una ontología son grafos semánticos (de esta forma nuestras anotaciones son más expresivas) e integra una sistema de indicadores de aprendizaje y evaluación basado en semántica único.
• Todos los recursos que crean los estudiantes en los distintos cursos están accesibles a través de M‐eRoDes. Por tanto, a medio y largo plazo, M‐eRoDes se convertirá en un repositorio con numerosos recursos de aprendizaje disponibles para estudiantes y profesores (a nivel de asignatura, titulación o, incluso, asignaturas similares de diferentes titulaciones).
• M‐eRoDes es un sistema accesible vía Red, abierto e interoperable, es decir, a partir de sus servicios es posible construir nuevas aplicaciones de aprendizaje que sustenten otros modelos de enseñanza basados en el uso de recursos audiovisuales.

En esta sección sintetizamos una serie de indicadores sobre el proceso de innovación implantado durante el curso 2015‐2016. La sección está dividida en dos partes. En primer lugar, se ofrecen indicadores obtenidos en la experiencia piloto implantada en la asignatura de Grado. Es importante resaltar que únicamente se ofrecen indicadores generales y de una actividad concreta de las planteadas. Para el resto de actividades de esta asignatura o para la asignatura de máster se podría ofrecer una información y un análisis similar (la cantidad de información es grande y resultaría repetitivo). En la segunda parte de la sección se ofrecen otro tipo de indicadores relacionados con la difusión de los resultados y el interés de los estudiantes en el proyecto de mejora docente.

Indicadores de la experiencia piloto

Durante el curso 2015‐2016, en la asignatura de “Diseño Centrado en el Usuario. Diseño Multimedia” (DCU) hubo matriculados 14 estudiantes. Todos realizaron las distintas actividades de aprendizaje programadas durante el curso y, finalmente, aprobaron la asignatura con una nota media de 7,8 puntos sobre 10 y una desviación estándar de 1,12 puntos. Desde un punto de vista cuantitativo no se ha experimentado una mejora significativa en los resultados en comparación con la metodología basada en sesiones magistrales, principalmente por la naturaleza y el contexto de la asignatura: es una asignatura optativa, de últimos cursos, y donde el número de estudiantes no es muy elevado. Por tanto, tradicionalmente, era una asignatura con un elevado número de aprobados. No obstante, el cambio de enfoque incrementa el interés de los estudiantes por la asignatura y mejora su participación. A este respecto, en las encuestas de opinión de la asignatura se les preguntó si “Prefiero aprender con estrategia participativas como alternativa a un enfoque basado únicamente en la clase magistral”, obteniendo un resultado medio de 4,5 sobre 5 (donde 1 significaba “nada de acuerdo” y 5 “totalmente de acuerdo”).

En estas encuestas también se les interrogaba sobre “Qué aspectos del nuevo modelo de enseñanza‐aprendizaje resultan complejos”. Los estudiantes apuntaban a la dificultad inicial que tenían para expresar el conocimiento por medio de estructuras LTM y semántica (no estaban habituados a trabajar con este tipo de modelos de representación), a pesar del entrenamiento ofrecido por los profesores (por medio de seminarios a principio de curso). No obstante, también apuntaban que esa dificultad inicial la habían ido superando conforme avanzó el curso. De cara al curso 2016‐2017 hemos mejorado las actividades de entrenamiento e incrementado el tiempo que dedicamos a su realización.

A modo de ejemplo, a continuación, se ofrecen indicadores más detallados de una actividad concreta (resaltar que para otras actividades de esta misma asignatura –DCU‐ y para la asignatura de máster se podría ofrecer información similar). Esta actividad corresponde con el modelo propuesto en la Figura 2, es decir, una actividad dedicada a la creación en grupo de nuevos recursos de aprendizaje y el posterior aprendizaje individual en base a estos recursos. En el caso concreto de esta actividad se elaboraron 5 nuevos recursos de aprendizaje. El tema de estos recursos fue: “Diseño centrado en los niños”, “Interfaces naturales”, “Computación afectiva”, “Interfaz cerebro ordenador, BCI” y “Sistemas colaborativos”. La figura 11 muestra el indicador de aprendizaje global de cada estudiante al trabajar/aprender con los distintos recursos creados por los compañeros (las casillas grises, sin valor concreto del indicador, representan los estudiantes que crearon el recurso concreto). Este indicador global es calculado a partir del conjunto de indicadores que se ofrece al estudiante cuando trabaja con un recurso, entre ellos: el indicador de similaridad de conceptos, el indicador de similaridad de relaciones, el indicador de similaridad estructural del conocimiento, el indicador de similaridad semántica del conocimiento, los conceptos importantes no descubiertos, etc.). Se ha utilizado una escala de colores para representar el grado de aprendizaje supuestamente alcanzado por los estudiantes: rojo significa bajo (valores entre 0,0 y 0,29), amarillo medio (valores entre 0,30 y 0,49), y verde alto o representativo (valores entre 0,50 y 1,0). Estos umbrales son configurables en la herramienta. El profesor puede acceder a esta síntesis de indicadores (y a su información pormenorizada) a través de la aplicación “Tutor de Aprendizaje” con el propósito de controlar el desarrollo del proceso de enseñanza‐aprendizaje de la actividad.

En media, exceptuando el recurso “Computación afectiva” que obtiene un valor de 0,31 sobre 1, los indicadores globales del resto de recursos son bastante homogéneos (están comprendidos entre 0,42 y 0,44 sobre 1). La escala de colores y los resultados globales de la evaluación automática permiten un análisis rápido de la evolución de la actividad desde distintos puntos de vista. Por ejemplo, desde el punto de vista de los recursos:

• “Interfaces naturales” parece obtener buenos resultados (no hay ningún indicador en rojo), mientras “Computación afectiva los peores” (ningún verde y cinco rojos).
• En “Sistemas Colaborativos” llama la atención que resultados están muy segmentados, cinco verdes (y dos amarillos muy próximos a la frontera del verde) y tres rojos.

También se puede analizar desde el punto de vista de los estudiantes, por ejemplo, los estudiantes 4 y 8 parece que están teniendo problemas en su aprendizaje, mientras los estudiantes 1, 2, 9 o 11 parece que están teniendo buenos resultados. No obstante, en estos indicadores influye la habilidad de los estudiantes para representar con estructuras semánticas LTM lo que perciben que aprenden. Por tanto, existe un grado de incertidumbre (que a día de hoy no somos capaces de cuantificar) entre el resultado del indicador y lo que realmente perciben. Este grado lo podríamos estudiar si hubiéramos realizado un test de conocimientos adicional como parte de la actividad, pero en este caso particular no estaba programado.

Por otro lado, realizamos una encuesta (en base a una rúbrica de referencia) para analizar la opinión de los estudiantes sobre la calidad de los recursos con los que habían aprendido (calidad del vídeo y calidad de los contenidos expuestos). La Figura 12 muestras los resultados medios de estas encuestas. Estos resultados son muy parejos y no permiten sacar grandes conclusiones. Sí que es cierto que “Computación afectiva”, que obtenía los peores indicadores de aprendizaje, también tiene una de las peores valoraciones. Sin embargo, “Interfaz cerebro-ordenador” que tiene unas buenas valoraciones, no destacaba de la misma manera en sus indicadores de aprendizaje (aunque obtenía de los mejores). El hecho de que los estudiantes, al ser un grupo muy reducido, conozcan quién creo cada recurso y tengan una relación cercana entre ellos (a nivel de amistad, compañeros, etc.) puede influir y sesgar sin duda los resultados.

Finalmente, el sistema de control de esfuerzos que implantamos como parte de la actividad indica que cada estudiante dedicó 8,6 horas en media a la elaboración del nuevo recurso de aprendizaje (como la mayoría trabajó en grupos de tres personas, unas 25 horas por recurso) y 2,6 horas en total al aprendizaje a partir de los recursos creados por sus compañeros (es decir, unos 40 minutos por recurso). La dedicación teórica que el profesor había planificado para la actividad era de 15 horas, por tanto, el esfuerzo real (11,2 horas) estuvo por debajo del estimado.

Indicadores a nivel de resultados

Otro indicador de interés son los resultados en forma de publicaciones que se han obtenido a partir del trabajo realizado en torno a esta actividad de innovación. En este sentido, la experiencia docente puesta en marcha durante el curso 2015‐2016 y las soluciones programadas en torno a ella se han publicado en:

• “Aprendizaje basado en la creación, uso y evaluación de una red semántica de recursos docentes”. Pedro Álvarez y Sandra Baldassarri. IEEE TICs aplicadas para el Aprendizaje de la Ingeniería (TICAI), vol. 2015, pp. 45‐52.
• “eRoDes: a Web‐based Framework for the Development of Semantic‐Enhanced Learning Objects”. Pedro Álvarez y Sandra Baldassarri. The Eleventh International Conference on Internet and Web Applications and Services, ICIW 2016, May 22 ‐ 26, 2016, Valencia, Spain.
• “M‐eRoDes: involucrando a los estudiantes en la creación y evaluación colaborativa de objetos de aprendizaje”. Sandra Baldassarri y Pedro Álvarez. XXII Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI 2016), Julio 5‐8, 2016, Almería, España.

Además, el trabajo preliminar a la experiencia fue previamente publicado en:

• “Creación participativa de una red semántica de material docente a partir de la descripción de los contenidos de una asignatura”. Pedro Álvarez y Sandra Baldassarri. XXI Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI 2015), pp. 51‐57, 2015, Andorra La Vella.

También es interesante mencionar que el interés que ha despertado en los estudiantes el uso de la versión inicial de M‐eRoDes les ha llevado a colaborar en la mejora de la herramienta y la integración de nueva funcionalidad. Concretamente, dos de los estudiantes de la asignatura de grado donde se implantó la actividad de innovación han realizado o están realizando su TFG en torno a M‐eRoDes:

• “Desarrollo de un tutor de aprendizaje basado en tecnologías cloud y semánticas”, siendo el autor David Vergara Manrique. TFG del Grado de Ingeniería en Informática, EINA. Curso 2015‐2016.
• “Desarrollo de un sistema para la generación y evaluación de test adaptativos de aprendizaje”, siendo el autor Francisco Menéndez Moya. TFG del Grado de Ingeniería en Informática, EINA. Curso 2016‐2017.

La definición del nuevo sistema de enseñanza‐aprendizaje y el desarrollo de M‐eRoDes comenzó en el año 2014. Este trabajo inicial estuvo financiado por la Convocatoria de Innovación Docente de la Universidad de Zaragoza a través de un proyecto PRAUZ (PRAUZ_14_054, 2014, Programa de Recursos en Abierto de la Universidad de Zaragoza), titulado “Una solución semántica al enriquecimiento participativo de contenidos docentes. Aplicación a la asignatura de Diseño Centrado en el Usuario” (bajo la dirección de Sandra Baldassarri). En el año 2015 solicitamos un nuevo proyecto de innovación docente, continuidad del anterior, con el propósito de asentar los resultados y ponerlos en práctica durante el segundo semestre del curso 2015‐2016. Este proyecto se trataba de un PIIDUZ (PIIDUZ_15_175, Programa de Incentivación de la Innovación Docente en la UZ), titulado “MeRoDes: involucrando a los estudiantes en la creación y evaluación de objetos de aprendizaje para su proceso de enseñanza. Un enfoque basado en tecnologías semánticas y servicios online multimedia” (dirigido por Pedro Álvarez). Finalmente, en el segundo semestre del curso 2015‐2016, se implantó la actividad de innovación en las asignaturas de “Diseño Centrado en el Usuario. Diseño Multimedia” (asignatura optativa de tercer curso del Grado de Ingeniería en Informática, EINA de Zaragoza) y en la asignatura de “Tecnologías y Modelos para el Desarrollo de Aplicaciones Distribuidas” (asignatura obligatoria en el Máster Universitario de Ingeniería en Informática y optativa en el Máster Universitario de Ingeniería de Telecomunicación).

A la experiencia de curso pasado (objeto de esta convocatoria), se le ha dado continuidad durante el curso 2016‐2017 a distintos niveles. Por un lado, el trabajo de innovación docente está siendo financiado por tercer año consecutivo por la Universidad de Zaragoza. En este curso, esta financiación es a través de un nuevo proyecto PIIDUZ (PIIDUZ_16_047), titulado “Diseño e implantación de una estrategia de enseñanza‐aprendizaje activa centrada en el estudiante y basada en flipped classroom y la herramienta M‐eRoDes” (dirigido por Sandra Baldassarri). Este proyecto pretende mejorar la experiencia del año anterior, incorporando la idea de aprendizaje adaptativo: estudiamos el perfil de los estudiantes y adaptamos las actividades de aprendizaje anteriores a estos perfiles. Al proyecto se ha sumado personal PDI de la Facultad de Educación de Zaragoza y una profesora de la Facultad de Informática de la Universidad Nacional de La Plata en Argentina (su perfil es especialista en educación online). Por otro lado, en el año 2016‐2017 el método docente propuesto se está aplicando de nuevo en las asignaturas de “Diseño Centrado en el Usuario. Diseño Multimedia” y “Tecnologías y Modelos para el Desarrollo de Aplicaciones Distribuidas” y se ha incorporado a una nueva asignatura titulada “Computación afectiva” (Programa de Doctorado en Ciencias Informáticas de la Universidad de La Plata, 20 estudiantes matriculados).

También mencionar que de cara al curso 2017‐2018 estamos ya estudiando incorporar las actividades de “clase invertida” (a partir de recursos de aprendizaje creados y disponibles en M‐eRoDes y evaluando en base a sus test e indicadores de aprendizaje) en la asignatura de grado “Programación de Sistemas Concurrentes y Distribuidos” (obligatoria de segundo curso del Grado de Ingeniería en Informática). Concretamente, en la parte final de la asignatura dedicada a los sistemas tiempo real y la programación basada en eventos.

Por otro lado, desde un punto de vista tecnológico, el sistema software (la infraestructura de servicios M‐eRoDes y sus aplicaciones Web) podría ser reutilizado para almacenar, anotar y evaluar recursos de aprendizaje de cualquier índole. En este sentido es una herramienta altamente reutilizable que sirve de soporte para realizar la actividad en futuros cursos (como está siendo), para replicar la misma actividad en otras asignaturas, o para facilitar el desarrollo de otro tipo de actividades diferentes donde recursos de aprendizaje etiquetados jueguen un papel clave. Además, toda esta versatilidad se ve favorecida por su naturaleza sostenible. El sistema es accesible vía Web, favoreciendo que pueda ser utilizado por cualquier usuario (estudiantes o profesores) que disponga de una conexión a Internet. Estos usuarios estarán liberados de cualquier responsabilidad administrativa del sistema, dado que esté está alojado en un servidor remoto.

La propuesta de innovación gira en torno a metodologías activas y participativas y el uso de recursos de aprendizaje audiovisuales. Estas dos “herramientas” no son algo específico y aplicable únicamente al contexto educativo de la informática o las disciplinas de carácter técnico. Por tanto, la actividad de innovación propuesta sería transferible a otras áreas de conocimiento o asignaturas donde tenga cabida este tipo de recursos (creemos que este abanico es muy amplio). No obstante, en base a nuestra experiencia, se recomienda particularmente para asignaturas de últimos años de grado, o de máster, en las cuales los estudiantes suelen ser más maduros, competentes y autónomos.

A día de hoy, las acciones de transferencia de los resultados se enmarcan en nuestro entorno más próximo. No obstante, en 2016‐2017 el método y la herramienta ya se está utilizando en dos universidades distintas, dentro de una titulación de grado y dos de máster/doctorado. Además, el hecho de que al proyecto de este año se hayan incorporado profesores de la Facultad de Educación de la UZ abre la posibilidad de que en el curso 2017‐2018 se apliquen los resultados en asignaturas de esa facultad.