Listado de buenas prácticas

Cuando las TICs contribuyen a optimizar el aprendizaje de nuestros alumnos: Socrative y el "testing effect"

Finalista en el Premio Santander correspondiente al año 2017, concedido por la Cátedra Banco Santander de la Universidad de Zaragoza. Más información en https://catbs.unizar.es/articulos/premiados-2017

APP, Kahoot, Smartphone, evaluación formativa

Trabajo desarrollado por los profesores Ginesa Ana López Crespo, José Martín-Albo Lucas y Camino Álvarez Fidalgo del Departamento de Psicología y Sociología de la Universidad de Zaragoza.

Sin duda una de las máximas preocupaciones entre los docentes es cómo mejorar el aprendizaje de sus alumnos. Se han llevado a cabo una gran cantidad de investigaciones al respecto, pero pocas de ellas han mostrado efectos tan contundentes y robustos como los del "efecto testing", también conocido como "práctica de recuperación" (retrieval practice en inglés). Básicamente se trata de una estrategia de aprendizaje que consiste en "forzar" la recuperación de contenidos en la memoria, a través de la realización de tests o evaluaciones. En este sentido, se ha observado que cuando un contenido es evaluado, éste se recuerda mejor posteriormente que cuando se pide a los estudiantes que relean el mismo contenido, estrategia habitual cuando estos tratan de aprender y memorizar un contenido, o que cuando se les pide que hagan un mapa conceptual, por ejemplo (Karpicke et al., 2011).

Este es un efecto robusto y ubicuo, tal y como se desprende de una revisión sistemática realizada por Eisenkraemer y cols (2013), pues se ha demostrado en una amplia población (niños, adolescentes y adultos jóvenes), con independencia del material usado (listas de palabras, textos, imágenes...) y con diferentes formas de evaluación (tanto en test de reconocimiento como de recuerdo).

A pesar de estar sus efectos ampliamente demostrados, esta práctica no ha calado en los entornos educativos. Uno de los motivos que pueden explicar esta falta de transferencia podría ser el desconocimiento de los profesionales de la enseñanza de este efecto, dado que la mayoría de los estudios se han llevado a cabo en un entorno de laboratorio y con materiales ajenos a contenidos reales en asignaturas reales.

Sin embargo, desde un punto de vista práctico, es posible que incluso siendo conocido este efecto por los profesionales de la enseñanza, estos no lo integren en la práctica educativa porque que realizar evaluaciones repetidas y frecuentes supone una carga de trabajo "extra" en unos docentes que de por si van sobrecargados de trabajo. Sin embargo, el desarrollo de tecnologías educativas de evaluación, como Socrative o Kahoot, podría contribuir a aligerar enormemente esta carga de trabajo.

En este sentido, el presente trabajo tuvo como objetivo mejorar la experiencia de aprendizaje de los alumnos del Grado de Magisterio de Educación Infantil del Campus de Teruel, a través de la realización de pruebas de evaluación utilizando la App Socrative. En otras palabras, con este trabajo se pretende llevar a contextos educativos reales un efecto ampliamente demostrado en el laboratorio, el "efecto testing", empleando una App accesible y gratuita tanto para profesores como para alumnos.

Ginesa Ana López Crespo

glopezcr@unizar.es

Presencial

Zaragoza

Grado de Magisterio de Educación Infantil

Psicología de la Educación

2016-17

El objetivo del presente trabajo fue determinar si los contenidos evaluados a través de Socrative se aprenden y recuerdan mejor en la prueba de evaluación final de la asignatura.

Participaron en el estudio alumnos de los dos grupos de teoría de la asignatura Psicología de la Educación del Grado de Magisterio en Educación Infantil. De un total de 98 alumnos matriculados únicamente 20 realizaron todas las evaluaciones en Socrative, por lo que el resto quedó descartado de cara a los análisis de datos.

Para llevar a cabo el estudio se seleccionaron cuatro contenidos de la asignatura. Con objeto de poder comparar si efectivamente es la evaluación en Socrative, y no otras variables extrañas como la composición del grupo o el horario de clase, las que contribuyen a mejorar el aprendizaje y recuerdo de los contenidos, se contrabalanceó el orden de las evaluaciones entre ambos grupos. Esto es, a los alumnos de un grupo se les realizó la evaluación de dos de los contenidos, mientras que a los del otro grupo de los dos restantes. La evaluación se llevó a cabo en diferentes momentos temporales, teniendo lugar la última de ellas al menos dos meses antes de la prueba de evaluación final (examen final de la asignatura).

Como ya se ha mencionado, la evaluación de los cuatro contenidos se llevó a cabo a través de Socrative. Se trata de una herramienta multi-plataforma (es decir, funciona tanto en PC como en portátiles, tablets, o smartphones), gratuita y que no necesita descarga. Ofrece varias posibilidades de evaluación: respuesta corta, preguntas de verdadero o falso y preguntas de alternativa múltiple. Para esta investigación se utilizó el formato de preguntas de alternativa múltiple. Los profesores de la asignatura diseñaron las preguntas de evaluación, que en su mayoría requerían aplicar a ejemplos reales los contenidos teóricos de la asignatura.

El procedimiento a seguir fue el siguiente. Se explicaron los contenidos teóricos en clase e inmediatamente después de la explicación tenía lugar la evaluación en Socrative. Para ello, el profesor proporciona una clave de acceso a sus alumnos, que en su mayoría realizaban la evaluación a través de smartphones y portátiles. Los alumnos iban respondiendo a las preguntas, obteniendo feedback inmediato sobre su ejecución después de cada una de las mismas, opción que permite Socrative y que es totalmente inviable utilizando una prueba de lápiz y papel.

El examen final de la asignatura contenía dos preguntas de cada uno de los cuatro contenidos evaluados. El modo de preguntar era similar (principalmente aplicación de contenidos a ejemplos de la vida real).

Como se mencionó anteriormente, la actividad se llevó a cabo en las clases teóricas de la asignatura, empleando para ello una metodología docente muy variada pues algunos contenidos se explicaban a través de lecciones magistrales mientras que otros implicaban la resolución y problemas y casos o la combinación de ambos métodos.

La innovación en sí tuvo lugar en el modo de evaluación, pues implica por un lado la poco frecuente actividad de evaluar contenidos teóricos antes del examen final y por otro la utilización de una herramienta TIC para llevar a cabo dicha evaluación. En este caso, consideramos que la herramienta TIC es condición sine qua non para poder llevar a cabo la experiencia, pues agiliza enormemente el proceso de evaluación al permitir una corrección automática de las pruebas que es impensable en una evaluación tradicional de lápiz y papel.

Es importante remarcar además que Socrative permite un feedback inmediato a los alumnos, dándoles a conocer si han respondido correctamente o no a cada pregunta realizada. De nuevo hemos de remarcar que esto es totalmente imposible de hacer utilizando un método de evaluación tradicional, de lápiz y papel. Cabe resaltar además que el feedback en sí es un componente clave dentro del proceso de aprendizaje (Wine y Nesbit, 2010).

Para realizar la evaluación de contenidos en las clases de teoría se empleó la herramienta Socrative. Como se mencionó anteriormente se trata de una herramienta multi-plataforma, que además no requiere descarga, lo que hace su uso muy amigable para los alumnos pues pueden acceder directamente online. Únicamente requieren dos pasos para acceder: entrar con el código proporcionado por el profesor e identificarse. Al haberse empleado preguntas de alternativa múltiple el alumno puede realizar la actividad a través de "clicks", sin realizar la incómoda tarea de escribir en smartphones, por ejemplo. Permite un feedback inmediato, lo que permite saber al alumno (y al profesor) cómo ha realizado la prueba y si tiene que tomar medidas compensatorias cuando la prueba no ha resultado exitosa (estudiar más en profundidad el tema, acudir a tutorías). En otras palabras, permite no sólo una evaluación sumativa sino también formativa.

Socrative funciona bien en grupos grandes, de unos 60 alumnos, tal y como indica la experiencia de los profesores de la asignatura. Permite alterar el orden de las cuestiones y las respuestas, para minimizar en lo posible la conducta deshonesta en los alumnos.

Para el profesor Socrative es una herramienta muy intuitiva, que agiliza el proceso de diseño de la evaluación y sobre todo de corrección de la misma. Durante el proceso de evaluación el profesor va viendo en tiempo real cómo está yendo la prueba, pues ve marcada cada respuesta de cada alumno en rojo si es incorrecta y en verde si es correcta. Tiene asimismo un porcentaje de respuestas correctas para cada ítem. De nuevo, esto permite incidir en la evaluación formativa, pues puede tomar medidas adicionales en el caso de que una prueba haya obtenido un bajo porcentaje de respuestas correctas, y puede hacerlo además de forma inmediata.

Por otra parte, el manejo de los datos es muy sencillo. Socrative permite extraer los datos de varias formas (individual, colectiva) y en varios formatos (PDF, Excel) que se pueden descargar de varias formas (se puede enviar por correo electrónico, descargar en el equipo local o guardar una copia en Google Drive).

Aunque se trata de una actividad que en principio se centra en la evaluación, sus efectos no se limitan a este aspecto del proceso de enseñanza-aprendizaje únicamente. Va más allá de la evaluación sumativa, permitiendo realizar una evaluación formativa y poner en marcha medidas destinadas a corregir los resultados no deseados de forma inmediata. Es más, es importante destacar que como los resultados previos sugieren, el "efecto testing" produce un aprendizaje más duradero y una mayor transferencia (Agarwal y cols., 2013). Permite al alumno conocer la distancia entre sus conocimientos reales y los que debe alcanzar, lo que les permite poner en marcha estrategias metacogniticas (Agarwal y cols., 2013). En este contexto, la utilización de una App como Socrative constituye una herramienta fundamental que no sólo permite agilizar el proceso sino que permite proporcionar un feedback inmediato, elemento clave en el proceso de aprendizaje (Winne y Nesbit, 2010).

En el presente proyecto de innovación se utilizaron los indicadores numéricos de los resultados obtenidos tanto en la evaluación en Socrative como en la evaluación final de la asignatura. Se realizó un análisis de correlación entre estas dos medidas, obteniéndose una correlación positiva (r= .24, p < 0.05). Es decir, cuanto mayores son las puntuaciones obtenidas en la evaluación en Socrative mayores son asimismo las puntuaciones en el examen final de la asignatura.

Estos resultados nos llevan a reafirmarnos en la idea de que la evaluación a través de Socrative, además de mejorar el aprendizaje y consecuentemente el recuerdo a medio plazo o dicho en otras palabras, el rendimiento en el examen final de la asignatura, puede ser una herramienta ideal para realizar una evaluación formativa. Si la puntuación en las pruebas de Socrative predicen el rendimiento en la prueba real, podemos considerarla un índice de comprensión de la materia explicada o trabajada en clase, y en caso de no obtenerse buenos resultados hemos de articular las medidas necesarias para corregir esa falta de comprensión.

Esta experiencia comenzó a desarrollarse en el curso 15/16, realizándose de forma más sistemática con el objeto de poder contar con un buen diseño experimental a partir en el curso 16/17, al cual pertenecen los datos presentados. Se está volviendo a realizar en el presente curso académico, y dado que el equipo docente está totalmente convencido de sus efectos positivos en el aprendizaje se volverá a realizar en los siguientes cursos.

Al centrarse en el modo de evaluación y no en contenidos en sí, se trata de una innovación independiente de la materia y disciplina, por lo que creemos que sería muy positivo transferirlo a otros contextos. Como hemos mencionado anteriormente se puede aplicar independientemente de la metodología docente empleada. De hecho, la experiencia aquí descrita se llevó a cabo tanto en clases magistrales como empleando metodologías activas como por ejemplo los estudios de caso. Creemos además que es fácilmente integrable en metodologías activas como es el caso del "flipped learning", pues permitiría realizar tanto la evaluación de los contenidos trabajados de forma autónoma fuera del aula como del trabajo más activo del alumno dentro de ella.