Nombre de la práctica
Premios y reconocimientos
Premio Santander correspondiente al año 2012, concedido por la Cátedra Banco Santander de la Universidad de Zaragoza. Más información en https://catbs.unizar.es/articulos/premiados-2012
Palabras clave
e-Evaluación, Multieval, Blackboard
Síntesis
Trabajo desarrollado por los profesores: Manuel Antonio Espitia Escuer, Nuria Alcalde Fradejas, Nieves García Casarejos, Isabel Acero Fraile, Mª José Vela Jiménez, Silvia Abella Garcés, Francisco Javier Pérez Sanz, Millán Díaz Foncea, Joaquín Cañón de Francia y Víctor Raúl Serrano Lázaro del Departamento de Dirección y Organización de Empresas, y Tomás Gómez Martín.
Durante el curso 11/12 se desarrolló una experiencia docente innovadora consistente en la utilización en titulaciones con un elevado número de estudiantes en el ámbito de las Ciencias Sociales de una serie de herramientas informáticas (entre las que destaca el programad MultiEval) para desarrollar nuevas actividades de e-Evaluación continua.
En concreto, la experiencia se llevó a cabo en la asignatura Fundamentos de Administración y Dirección de Empresas, vinculada al Departamento de Dirección y Organización de Empresas, que se imparte en el primer curso de los cuatro grados económico empresariales de la Universidad de Zaragoza: Administración y Dirección de Empresas (ADE), Economía (ECO), Finanzas y Contabilidad (FICO) y Marketing e Investigación de Mercados (MIM). Esto ha supuesto la puesta en práctica de la experiencia entre más de 1.000 alumnos repartidos entre los campus de las tres provincias aragonesas.
De una forma muy general, se puede decir que la experiencia ha consistido en diseñar a través del programa Multieval ejercicios individualizados para los alumnos que éstos han resuelto fuera del aula y cuyas soluciones han transmitido al profesor utilizando el mismo programa y con el soporte de la plataforma Blackboard; el programa permite también una corrección automática de las soluciones dadas por cada alumno a su ejercicio, evitando al profesor, por tanto, la tarea de corrección manual y permitiendo una rápida retroalimentación que informe a los alumnos de los fallos cometidos y les permita orientar adecuadamente su estudio.
La utilización de estas herramientas ha facilitado el logro de dos objetivos que resultan básicos en el contexto de los nuevos Grados desarrollados bajo el marco del Espacio Europeo de Educación Superior: por un lado, una mayor coordinación entre todos los grupos en los que se imparte la asignatura y por otro, la utilización de sistemas de evaluación continua en titulaciones con un elevadísimo número de alumnos por grupo. Ambos objetivos han constituido el verdadero artífice de las innovaciones que se han llevado a cabo en la asignatura.
Profesor responsable
Dirección email
Tipo de docencia
Sitio web
Universidad
Titulación
Materia
Curso académico
Objetivo docente
Por un lado, una mayor coordinación entre todos los grupos en los que se imparte la asignatura y por otro, la utilización de sistemas de evaluación continua en titulaciones con un elevadísimo número de alumnos por grupo. Ambos objetivos han constituido el verdadero artífice de las innovaciones que se han llevado a cabo en la asignatura.
Descripción detallada
En el curso académico 2010-11 se puso en marcha el primer curso de grado de las cuatro titulaciones que se integran dentro del ámbito económico-empresarial, véase, Administración y Dirección de Empresas (en adelante ADE), Economía (en adelante ECO), Finanzas y Contabilidad (en adelante FICO) y Marketing e Investigación de Mercados (en adelante MIM). Además y puesto que ADE es una titulación implantada en tres campus distintos dentro de la Comunidad Autónoma, lógicamente se incorporaron a la misma los grupos de ADE implantados en Huesca y Teruel.
La voluntad del Departamento de Dirección y Organización de Empresas fue, desde el primer momento, coordinar la docencia de la asignatura de primer curso «Fundamentos de Administración y Dirección de Empreas» (FADE)[1] en todos los grupos, dado que la guía docente de la misma (donde se establecen resultados de aprendizaje, competencias, sistema de evaluación, etc) es común para todos. Resultaba, por tanto, necesaria la coordinación entre los profesores de 16 grupos docentes teóricos y 32 prácticos, con un total de 1.300 alumnos aproximadamente.
Por otro lado, fue necesario abordar otro gran reto: una reformulación de las metodologías docentes asociadas a la convergencia al EEES, poniendo especial énfasis en la evaluación continua de los alumnos. El elevado número de alumnos constituye, sin duda, un handicap para aplicar metodologías de evaluación continua tradicionales, por lo que resultaba necesario desarrollar herramientas que permitieran una fácil implementación y corrección de las pruebas propuestas de evaluación continua.
En el curso 2010-11 el objetivo docente abordado con mayor intensidad para la asignatura de FADE fue homogeneizar los materiales de estudio del estudiante; en el segundo año de implantación de la asignatura, curso académico 2011-12, se profundizó en la mejora del sistema de evaluación.
Para el logro de ambos objetivos: coordinación de grupos e implementación de sistemas de evaluación continua, resultó imprescindible el uso de las TICs. En este sentido, hay que destacar la permanente inquietud del Departamento por utilizar herramientas TICs como apoyo a la docencia, que lleva a algunos miembros del Dpto. a estar permanentemente actualizándose en nuevas tecnológicas a aplicar en el aula.
Entre todas las herramientas TICs de posible aplicación a esta experiencia docente, se optaría, en primer lugar, por utilizar herramientas como Dropbox y Google docs para la coordinación, intercambio de materiales, gestión de reuniones, etc entre profesores de los diferentes grupos.
Para el desarrollo de sistemas de evaluación continua, en el curso 11-12, se optó por la utilización conjunta de dos herramientas: MultiEval y la plataforma Blackboard. La primera permitiría individualizar y gestionar la evaluación de las pruebas de la asignatura, mientras que la segunda permitiría una fluida y constante comunicación profesor-alumno.
Centrándonos en esta segunda experiencia más innovadora, los objetivos se concretaron en:
- Mejorar la coordinación de la asignatura para la implantación de forma generalizada de herramientas TICs en los procesos de enseñanza-aprendizaje y evaluación.
- Hacer extensivas las herramientas TICs a todos los estudiantes y profesores de la asignatura de FADE, abarcando a todos los grupos de los distintos grados y campus.
- Seleccionar TICs educativas que permitan gestionar ágilmente a un elevado número de alumnos y profesores, facilitando la comunicación entre los participantes y optimizando las tareas de evaluación.
- Implantar herramientas que permitan poder llevar a cabo un sistema de e-evaluación continua como metodología de evaluación en la asignatura, contribuyendo así a una mayor objetividad y calidad de la misma.
[1] En el grado de Economía, la asignatura se denomina «Economía de la Empresa». No obstante, para simplificar la exposición, a lo largo del documento se utiliza como único nombre de la asignatura el de «Fundamentos de Administración y Dirección de Empresas».
Metodología docente utilizada
La puesta en marcha de la experiencia de implantación de la herramienta MultiEval ha supuesto, por un lado, una intensa labor de coordinación y, por otro, la selección y manejo de las herramientas informáticas necesarias para poner en marcha la e-Evaluación continua. Asimismo se procedió a una evaluación interna para analizar los resultados desde una perspectiva crítica.
Coordinación interna del profesorado
La coordinación resulta imprescindible en un contexto como en el que plantea esta experiencia caracterizado por la dispersión de los alumnos y profesores (más de 1.000 alumnos de 4 titulaciones distintas: grados de ADE, ECO, FICO y MIM); por la necesidad de homogeneizar las actividades de evaluación en los cuatro grados y cuatro campus (campus de Huesca, Teruel, Zaragoza-campus Paraíso, Zaragoza-campus Río Ebro); y con el objetivo de generar una comunidad homogénea de enseñanzaaprendizaje dentro de la asignatura FADE.
Además de las reuniones iniciales orientadas a la coordinación en la puesta en marcha del comienzo del curso, se realizaron reuniones adicionales en las que participaron todos los profesores implicados en la asignatura en diciembre, enero y marzo; así como reuniones más específicas por campus, en febrero, para ver cómo había ido la implantación de las prácticas mediante evaluación continua.
En todo momento los profesores contaron con asistencia personal vía e-mail del creador de la herramienta de evaluación, para resolver todas aquellas dudas que pudieran surgir en el desarrollo de las prácticas.
Paralelamente se creó una lista de correo que, incluyendo a todos los profesores implicados en la asignatura, sirvió para comentar y debatir diversos temas de interés general o de sincronización de agenda que fueron apareciendo a lo largo del curso.
También se creó un foro de debate del grupo a través de Internet, aunque esta herramienta colaborativa no se llegó a utilizar finalmente.
Por último hay que mencionar que debido a la necesidad de llevar a cabo las labores de coordinación resultó necesaria la asistencia a reuniones presenciales. No obstante, dada la dispersión física de los profesores en cuatro campus y con el fin de facilitar esta asistencia en los sucesivos cursos académicos, se decidió ofrecer un curso de formación interna en una herramienta de conferencia web que incluye la plataforma Blackboard Collaborate para la colaboración en Red, integrada tanto en Blackboard 9.1 como en Moodle del ADD. El curso se realizó en junio de 2012 bajo el título «Cooperación en Red con Blackboard Collaborate Web Conferencing». Dicha herramienta ha sido utilizada en el presente curso académico 2012-13 para la realización de la reunión inicial de coordinación de la asignatura.
Implementación de la e-Evaluación continua
Con el fin de que todos los profesores conociesen los fundamentos de las herramientas TICs que se iban a utilizar, se realizó un taller de formación dirigido a todos los profesores de la asignatura de FADE antes de comenzar el curso -los días 13 y 16 septiembre de 2011- bajo el título «MutiEval y Blackboard: Herramientas TIC para la implantación, gestión y monitorización de la evaluación continua». Los contenidos que en él se desarrollaron fueron la comunicación con los alumnos a través de la plataforma Blackboard, la implementación de una e-Evaluación continua con la herramienta MultiEval, y la gestión y monitorización de los resultados obtenidos en las evaluaciones.
Esta formación inicial permitió tomar un primer contacto con las herramientas TICs que se iban a utilizar y comenzar a hacer grupos de trabajo de profesores para organizar y preparar las tres entregas de prácticas de MultiEval que estaba previsto que los alumnos tenían que presentar. Para elaborar cada una de las evaluaciones de MultiEval que se les planteaban a los alumnos, el trabajo se repartió entre los profesores de prácticas de la asignatura. Se establecieron tres grupos de trabajo de profesores, con tres o cuatro profesores en cada uno de ellos, que fueron los encargados de realizar y supervisar cada una de las prácticas. De esta forma, cada grupo asignado diseñaba y elaboraba una práctica, que después se enviaba a la lista interna de correo para detectar los posibles errores o implementar mejoras en el enunciado.
Asimismo, durante el curso se realizaron dos controles presenciales de la parte práctica de la asignatura en horario de clase.
La asignatura se califica sobre 10 puntos, de los cuales, 4 puntos corresponden a la parte de teoría y los otros 6 puntos se refieren a la parte de práctica. Para superar la asignatura los alumnos tienen la posibilidad de presentarse a un examen final sobre toda la materia, o realizar dos pruebas intermedias examinando en cada una de ellas la mitad del temario. Como novedad en el curso 2011-2012 se incorporó dentro de la evaluación continua de la parte práctica el uso de la herramienta MultiEval, de modo que de los 6 puntos de práctica, 3 puntos se podían alcanzar mediante la realización de 3 ejercicios a través de MultiEval mientras que los 3 puntos restantes correspondían a dos controles parciales (1,5 puntos cada uno de ellos). De este modo, los alumnos tenían la posibilidad de ir obteniendo puntos relativos a la parte de práctica a través de la realización de estos ejercicios con MultiEval al mismo tiempo que les servía como modo para estudiar la asignatura poco a poco. En cuanto al peso de las evaluaciones, sobre diez puntos de calificación final, las tres evaluaciones MultiEval que realizaron los alumnos representaron 0,5 puntos la primera y 1,25 puntos la segunda y tercera, es decir, un total de 3 puntos. El motivo de dar un menor peso a la primera respecto a las restantes fue debido a la menor complejidad de la misma y para no penalizar el primer contacto con la herramienta.
La calificación final se compone de la calificación de un examen teórico presencial (4 puntos), la calificación de los tres ejercicios MultiEval que los alumnos hicieron como trabajo autónomo fuera del aula (3 puntos) y los 2 controles prácticos que realizaron en el aula (3 puntos). En total, la parte práctica representa un 60% de la nota final y la parte teórica el 40% restante.
Evaluación interna y divulgación
Para evaluar la experiencia, además de la información recabada durante el desarrollo de la misma, a final de curso se realizaron encuestas de opinión tanto a los estudiantes como a los profesores. En estas encuestas se recogió el grado de satisfacción sobre la experiencia.
La experiencia está siendo divulgada por parte de los profesores del Departamento, a través de dos comunicaciones que se enviaron a las IV Jornadas de Docencia en Economía de La Coruña (Junio 2012), dos ponencias en las IV Jornadas de Innovación e Investigación Educativa de la Universidad de Zaragoza (Septiembre 2012), así como otras dos que se han enviado a las III Jornadas de Buenas Prácticas en la Docencia Universitaria con Apoyo de TIC de la Cátedra Banco Santander de la Universidad de Zaragoza (Septiembre 2012).
TIC usadas
Las herramientas TICs que se han seleccionado para la evaluación son: Blackboard y MultiEval.
Como se ha indicado anteriormente, Multieval es un programa informático a partir del cual se proponen ejercicios a los alumnos. La utilización del mismo cuenta con diversas ventajas. Por un lado, los estudiantes contestan las cuestiones planteadas a través del mismo programa, lo que permite centralizar el trabajo de todos los alumnos, al mismo tiempo que permite realizar una evaluación simultánea de todos los estudiantes que han realizado dicha actividad. Por otra parte, el programa permite plantear diversas variantes de un mismo ejercicio, es decir, a partir de un mismo ejercicio, el programa permite ir modificando los datos de las variables de modo que cada estudiante visualiza diferentes datos en el enunciado y por tanto sus soluciones serán distintas a las de los otros compañeros, por lo que evita que se puedan copiar los resultados de unos estudiantes a otros.
En la Imagen 1 se visualiza la pantalla inicial del programa en la que los alumnos deben incorporar sus datos identificativos. Es muy importante el campo del «Identificador» (en nuestro caso usamos el NIP), ya que a través de este identificador el programa otorga las distintas variantes del ejercicio.
Imagen 1: Pantalla inicial en la que el alumno debe incorporar sus datos
A continuación, se muestra un ejemplo de uno de los ejercicios planteados, tal y como los visualiza el alumno. Se observa que en la ventana central aparece el enunciado del ejercicio y en la parte de la derecha se sitúan los campos en los que el alumno debe indicar sus soluciones:
Imagen 2: Pantalla de visualización del ejercicio por parte del estudiante
En la imagen 3 se muestra el mismo enunciado del ejercicio pero con la versión del programa del profesor. Los campos en verde indican que son variables del enunciado que se van a ir modificando de variante a variante.
Imagen 3: Pantalla de visualización del ejercicio por parte del profesor.
En la versión del programa del profesor, hay un menú para la edición de las variables y las variantes del ejercicio. De este modo el docente define las variables que se van a utilizar en el ejercicio y determina las variantes que se van a incorporar. Asimismo, debe introducir los resultados relacionados con cada una de las preguntas en cada una de las variantes. En la Imagen 4 se muestra la ventana del programa en la que aparecen las variables utilizadas así como las soluciones de cada variante.
Imagen 4: Pantalla de visualización de las variables y soluciones del ejercicio (versión del profesor)
Por último, en la Imagen 5 se muestra un ejemplo de cómo aparecen las calificaciones de los ejercicios (cada fila corresponde a un estudiante). Además de la calificación, se puede visualizar también para cada uno de los estudiantes, el detalle de los aciertos y fallos que ha tenido.
Imagen 5: Pantalla de visualización de la corrección del ejercicio
Para la gestión del envío y recepción de ejercicios de MultiEval se utilizó la plataforma Blackboard en la que está dada de alta la asignatura. De este modo, para cada uno de los ejercicios de MultiEval se creó una actividad asociada al mismo. Así, los alumnos se descargaban el fichero con el enunciado del ejercicio a través de la actividad de Blackboard y el envío del ejercicio resuelto también debían realizarlo a través de esta plataforma. Una vez recibidos todos los envíos de los alumnos a través de Blackboard, se realizaba la corrección simultánea de todos ellos a través de MultiEval.
Es necesario indicar que para la realización de cada una de las pruebas de MultiEval se fijaba un periodo concreto de realización de 4 días, de modo que los alumnos disponían sólo de los días establecidos para la realización y entrega de los ejercicios.
Otras herramientas que se han utilizando y que han contribuido a dar validez a la experiencia son Dropbox, Google docs y Blackboard Collaborate Web Conferencing. Dropbox es una herramienta que se ha utilizado en un entorno privado y que ha permitido que los profesores compartan todos sus materiales de trabajo. A través de Google Docs se ha preguntado y encuestado al grupo sobre las cuestiones que iban surgiendo, actuando como herramienta facilitadora de citas y para recabar opiniones que precisaban serlo de forma inmediata, minimizando el número de reuniones presenciales. Por último, se ha impartido formación en Blackboard Collaborate Web Conferencing, fruto de la cual se realizó la primera Conferencia Web entre los profesores de la asignatura a comienzos del mes de septiembre de 2012.
Carácter innovador a destacar en la actividad
La herramienta Multieval, aunque con otro nombre, y en versiones previas había sido utilizada en algunos grupos de titulaciones de ingeniería. No obstante, su utilización en un campo completamente diferente (las Ciencias Sociales) y abarcando a un número tan elevado de grupos y alumnos constituía un verdadero reto. Como ya se ha indicado anteriormente, la primera vez que se utilizó esta herramienta en la asignatura fue en el curso 2011-2012. Se consideró interesante la utilización de esta herramienta como instrumento de evaluación continua ya que por un lado permite la gestión centralizada de los ejercicios de todos los alumnos y por otro lado facilita a los alumnos un seguimiento más continuado de la asignatura ya que para superar las pruebas de MultiEval es necesario haber comprendido los conceptos claves del tema objeto de la prueba.
La utilización de esta herramienta ha supuesto un cambio radical en la metodología de enseñanzaaprendizaje de la asignatura. Permite evaluar de manera continuada el trabajo de los estudiantes sin tener que recurrir a pruebas en el aula que consumen mucho tiempo y además generan un trabajo de corrección muy importante para el profesor dado el elevado número de alumnos con el que se trabaja. Por otro lado, permite una retroalimentación rápida para los alumnos, informándoles de los errores cometidos y, por tanto, orientándoles en la forma de enfocar la asignatura.
Para conseguir esto se requiere un importante trabajo previo de los profesores para la elaboración y diseño de los ejercicios de tal forma que sea posible generar variantes suficientes para que los alumnos respondan a ejercicios homogéneos pero no idénticos. La formación de todos los profesores en el manejo de la herramienta así como la constante coordinación entre los mismos ha generado sinergias reduciendo el coste de implementación en relación al que habría tenido que asumir en solitario cada profesor.
Indicadores que cuantifiquen las mejoras en el aprendizaje
La recolección de los datos cuantitativos referentes al proceso de aprendizaje de los alumnos se ha realizado: 1) a partir de los datos relativos a la forma de resolver los ejercicios digitales, el tiempo invertido en la resolución y el ordenador utilizado y 2) a partir de las encuestas realizadas a los alumnos a final del curso (que recogen las opiniones sobre la experiencia), junto con las calificaciones obtenidas en todas las evaluaciones (ejercicios MultiEval, controles en el aula, evaluación teórica final y calificación final).
Resultados del aprendizaje en función de los datos relativos a la forma de resolver los ejercicios MultiEval
En relación con la forma de resolución de los ejercicios de MultiEval se han analizado varias magnitudes con el objetivo de poder cuantificarlas. Es necesario indicar que al carecer de datos previos no es posible realizar una comparativa para identificar si se ha producido alguna mejora en estos aspectos.
Esfuerzo. Se mide mediante el tiempo estimado que ha tardado el alumno/a en resolver el ejercicio. Para ello, se ha restado del tiempo total que el alumno ha estado conectado al programa, el tiempo que se ha considerado «muerto», es decir, el que se estima que no ha estado realmente resolviendo el problema. De los análisis realizados se desprende que las medias son similares para los 3 ejercicios de MultiEval y se sitúan por encima de los 45 minutos.
Trabajo en equipo. Aunque este aspecto es difícil de cuantificar, se ha considerado que compartir un mismo ordenador pudiera ser una aproximación aceptable. Esta circunstancia se ha producido en un 11% de los ejercicios. Hay que tener en cuenta que este parámetro puede no siempre implicar trabajo en equipo ya que por ejemplo se puede utilizar casualmente un mismo ordenador de la Facultad, y además, no es posible asegurar que la colaboración sea positiva, en el sentido de que se limite a que uno haga el ejercicio y el otro simplemente copie los resultados para obtener idéntica calificación. Este es un tema sobre el que está previsto continuar trabajando para garantizar que la colaboración sea positiva. No obstante, la coincidencia en las calificaciones no se da siempre; de las 98 «colaboraciones» que se han detectado, las coincidencias se producen en 54 de los casos, es decir, en un 55% de ellos.
Planificación. Se mide mediante la diferencia de tiempo entre el momento de finalización del ejercicio MultiEval y el tiempo límite para su entrega. En el análisis realizado se ha tenido en cuenta el número de horas enteras que faltaban para el tiempo límite en el momento de la entrega. Aunque se desconoce la causa, la dispersión disminuye algo en el segundo ejercicio (es posible que el aprendizaje en la utilización del programa pueda estar en el origen de los ahorros en tiempo), y se reduce considerablemente en el tercero. La mejor planificación se aprecia también cuando se considera el número de entregas en las últimas 18 horas siendo un 59.2% de los casos en el primer ejercicio, un 54.4% en el segundo y tan sólo un 18.4% en el tercero. Por tanto se constata que la planificación en la entrega de los ejercicios ha mejorado a lo largo del transcurso de la asignatura.
Resultados del aprendizaje según los datos de la encuesta final y las calificaciones obtenidas
Con el objetivo de analizar el funcionamiento de MultiEval y conocer la opinión de los estudiantes, se llevó a cabo una encuesta para recoger la información necesaria. Se trata de una encuesta realizada al alumnado el día del examen final. La encuesta contenía tres tipos de cuestiones: sobre el programa MultiEval, sobre el uso de las TICs por parte del alumno y otras cuestiones de tipo socio-demográfico.
A partir de los datos de la encuesta y la información sobre las calificaciones de la asignatura, se han obtenido los resultados que se comentan a continuación. Es necesario indicar que para los análisis que se muestran a continuación, se ha trabajado sólo con 465 observaciones, ya que sólo se han tenido en cuenta aquellas observaciones para las cuales se disponía de toda la información completa relacionada con las respuestas del cuestionario que se pasó a los estudiantes.
En primer lugar se ha considerado interesante analizar las calificaciones medias obtenidas por los estudiantes en las actividades de MultiEval, diferenciando por grado. Tal y como se recoge en la tabla 1, se puede observar que la mayor puntuación corresponde al grupo de DADE, lo cual es lógico ya que es un grupo de alumnos con una nota de acceso superior a la del resto de grados y con un perfil diferente (es un solo grupo el que existe de esta titulación). No obstante, en términos generales, las calificaciones son superiores a la media en todos los grados (con la única excepción de ADE en Teruel). Se puede observar que en media los alumnos han obtenido un 1.9 sobre 3 puntos en las actividades de MultiEval, lo que representa en media un aprobado en estas actividades.
TABLA 1. Calificaciones medias en MultiEval por grados
| Grado | Calificación MultiEval (de 0 a 3) |
| DADE | 2.358 |
| FICO | 2.004 |
| ADE | 1.975 |
| MIM | 1.664 |
| ADE Teruel | 1.372 |
| TOTAL | 1.935 |
Por otro lado, para conocer la opinión de los alumnos en relación con el uso del programa MultiEval, se les plantearon las siguientes cuestiones que tenían que valorar según una escala de 1 a 5: «El MultiEval es una técnica de enseñanza adecuada», «El programa MultiEval mejora el proceso individual de enseñanza-aprendizaje de la asignatura», «El programa MultiEval contribuye a incrementar la colaboración entre los alumnos», «Recomiendo el programa MultiEval para otras asignaturas de la titulación». En la tabla 2 aparecen los resultados obtenidos en estas cuestiones diferenciando por grado. Se observa que todas las puntuaciones se sitúan por encima de la media (puntuaciones superiores a 3 en todos los casos en una escala de 1 a 5), lo que indica que los alumnos valoran de forma positiva la utilización de MultiEval.
TABLA 2. Opinión MultiEval por grados
| Grado | Opinión MultiEval (de 1 a 5) |
| DADE | 3.46 |
| FICO | 4.04 |
| ADE | 3.49 |
| MIM | 3.66 |
| ADE Teruel | 3.26 |
| TOTAL | 3.57 |
Asimismo se analizó el nivel de dificultad que los alumnos consideraban que tenía el uso de la herramienta MultiEval. En este sentido, en la tabla 3 se observa que todas las puntuaciones se sitúan por debajo de 5 (sobre un máximo de 10), por lo que se puede señalar que los estudiantes consideran MultiEval como una herramienta de fácil aplicación.
TABLA 3. Dificultad MultiEval por grados
| Grado | Dificultad MulEval (de 1 a 10) |
| DADE | 3.84 |
| FICO | 2.85 |
| ADE | 4.25 |
| MIM | 4.73 |
| ADE Teruel | 3.80 |
| TOTAL | 4.11 |
También es necesario indicar, como se observa en la tabla 4, que en media, los estudiantes poseen un conocimiento elevado sobre el uso de TICs (en media un 7,4 sobre un máximo de 10), tanto sobre informática como sobre Internet, lo cual favorece la buena acogida por parte de los mismos de nuevas actividades basadas en la utilización de TICs.
TABLA 4. Conocimiento TICs por grados
| Grado | Conocimiento TICs (de 1 a 10) |
| DADE | 7.056 |
| FICO | 7.821 |
| ADE | 7.265 |
| MIM | 7.637 |
| ADE Teruel | 7.380 |
| TOTAL | 7.380 |
Asimismo, se realizaron algunos análisis de correlaciones y test de medias entre las calificaciones obtenidas a través de MultiEval, la nota final de la asignatura y otras variables de carácter socio-demográfico.
En primer lugar indicar, que en relación con la variable edad, no se encontraron diferencias significativas en las calificaciones de MultiEval. Por el contrario, sí que se observaron diferencias significativas en relación con la variable género (la muestra está compuesta por un 47,1% de chicos y un 52.9% de chicas), de modo que son las chicas las que alcanzaron mejores puntuaciones tanto en los ejercicios a través de MultiEval como en la nota final de la asignatura (correlaciones de 0,103** y 0,089* respectivamente). Asimismo, se realizaron test de medias en los que se confirmó la existencia de diferencias entre alumnos y alumnas en las calificaciones de MultiEval y en la nota final de la asignatura.
También se analizó la posible relación entre el colegio de procedencia de los estudiantes (la muestra está compuesta por un 53,8% de alumnos que proceden de colegio público y un 46.2% que procede de colegio privado) y las notas alcanzadas tanto en MultiEval como en la asignatura. No obstante, se comprobó que no existía correlación significativa entre estas variables. Por otro lado, en relación con la rama de bachillerato estudiada (ciencias sociales, humanidades, ciencias de la salud, etc.) las correlaciones también resultaron ser no significativas. En este sentido cabe señalar que la mayoría de los alumnos -un 69,9%- procede del bachillerato de ciencias sociales y jurídicas.
Finalmente, se analizó la relación entre las notas obtenidas a través de los ejercicios de MultiEval y la nota final de la asignatura. En este caso sí que se observa una alta correlación entre la calificación obtenida en MultiEval y la nota final de la asignatura (0,707***), lo que implica que aquellos alumnos que han obtenido mejores notas en MultiEval son también los que obtienen mejores notas en la asignatura. Por tanto, podemos concluir que la herramienta MultiEval es un instrumento útil de ayuda a los alumnos para superar la asignatura.
También se analizó la correlación entre la calificación obtenida en las pruebas de MultiEval y la valoración que mostraron los alumnos sobre el grado de dificultad de la herramienta, observándose una correlación negativa (-0,139***). Este resultado indica que aquellos alumnos que consideran que el programa es complejo, obtienen peores puntuaciones. Por el contrario, se observa una relación positiva entre la valoración que hacen los alumnos del programa MultiEval y la calificación obtenida (correlación de 0,229***), es decir, los alumnos con mejores notas en MultiEval son los que manifiestan al mismo tiempo una mejor opinión del programa.
Sostenibilidad a lo largo de otros cursos
Tras la positiva experiencia obtenida en el primer año de su implantación (curso 2011-2012), se ha decidido continuar con la utilización del MultiEval en el presente curso 2012-2013. No obstante, se ha introducido una pequeña modificación respecto a años anteriores teniendo en cuenta la valoración y comentarios de los estudiantes del primer año. Los alumnos valoraron positivamente el uso de MultiEval, no obstante, señalaron que sería mejor si el MultiEval se realizara previamente al examen parcial y no posteriormente como ocurrió en alguna ocasión el primer año de puesta en marcha de la experiencia.
De este modo, en este segundo año, se han planificado las actividades de MultiEval y los controles atendiendo a dicha sugerencia, de forma que los controles parciales se llevan a cabo tras haber realizado las actividades con MultiEval. De este modo, los ejercicios de MultiEval sirven a los alumnos como entrenamiento para el examen.
Transferibilidad de los diseños y tecnologías
La utilización del programa MultiEval es transferible fácilmente a otras disciplinas. En este sentido, en el curso 2012-2013, se ha introducido la utilización de esta herramienta en otra asignatura del Departamento de Dirección y Organización de Empresas, «Organización y Gestión Interna», de segundo curso de los grados de GADE, FICO y MIM.
Para poder llevar a cabo la experiencia, se ha impartido la formación necesaria sobre MultiEval a los profesores de dicha asignatura. Aunque durante este primer año la valoración de las prácticas de MultiEval en la calificación final no ha supuesto un porcentaje muy alto de la nota final, se espera ampliar para próximos cursos de modo similar a cómo se ha implementado en la asignatura de FADE.
