Nombre de la práctica
Premios y reconocimientos
Segundo accésit ex-aequo al Premio Santander correspondiente al año 2013, concedido por la Cátedra Banco Santander de la Universidad de Zaragoza. Más información en https://catbs.unizar.es/articulos/premiados-2013-2
Palabras clave
rúbrica, proyectos ingeniería, evaluación, feedback
Síntesis
Trabajo desarrollado por los profesores: Pedro Valentín Ubieto Artur, José Luis Santolaya Saenz, César García Hernández y Ana Cristina Royo Sánchez del Departamento de Ingeniería de Diseño y Fabricación de la Universidad de Zaragoza.
Este trabajo ha sido desarrollado por un grupo de profesores del Área de Expresión Gráfica en la Ingeniería que se plantearon, en el curso 2011/2012, la necesidad de mejorar la evaluación los proyectos realizados por sus alumnos.
Visto que los sistemas disponibles no se adaptaban de forma eficaz a la evaluación de proyectos industriales, se ha desarrollado un sistema propio en la nube y se ha aplicado dentro del proceso evaluador de los trabajos realizados por los alumnos de Oficina Técnica y Oficina de Proyectos que se imparten en el último curso de los grados en ingeniería.
El sistema permite generar una plantilla que ha diseñado como una rúbrica extendida, para cada uno de los proyectos o tipos de proyectos a evaluar. Las plantillas se adaptan a la estructura del proyecto, basado en la norma UNE 157001:2002 o cualquiera de sus partes, con todos sus niveles, subniveles y dependencias. Además permiten la definición los criterios de evaluación necesarios, conocer el grado de cumplimiento de los objetivos previstos, registrar los aspectos mejorables o los errores cometidos en la redacción de cada apartado del proyecto y añadir las observaciones que el profesor estime oportunas.
Gracias a esto, los alumnos tienen acceso al resumen de las distintas evaluaciones realizadas, pueden ver los errores más habituales, aspectos mejorables y recomendaciones y utilizarlas como base para la redacción del plan de gestión de calidad de sus proyectos.
Profesor responsable
Dirección email
Tipo de docencia
Sitio web
Universidad
Titulación
Materia
Curso académico
Objetivo docente
Aplicar un sistema de evaluación de proyectos mediante rúbricas que proporcione claridad y objetividad.
Disponer de una herramienta para generar plantillas completa y versátil con capacidad para la evaluación de diferentes tipos de proyecto desarrollados en los Grados de Ingeniería.
Desglosar el proceso de evaluación global de un proyecto en apartados más simples y completamente detallados.
Permitir la acción de mejora continua, de forma que los errores cometidos en la entrega de un proyecto sirvan, tanto a profesores como a alumnos, para subsanarlos en la siguiente entrega.
Descripción detallada
El aprendizaje basado en proyectos colaborativos es una metodología utilizada en las asignaturas de Oficina Técnica y Oficina de Proyectos, con la que se pretende que los alumnos de ingeniería desarrollen las principales competencias asociadas a su perfil profesional.
La corrección de los proyectos de ingeniería tiene unas características muy especiales: si bien su estructura está perfectamente definida, por la norma UNE 157001:2002, por ejemplo, su contenido varía enormemente según el producto, instalación o servicio diseñado.
Así, en el proyecto desarrollado durante el curso 2011/2012 para la empresa Araven, nos encontramos con proyectos tan dispares como una ampliación para la cesta de la compra de dos piezas (http://www.egrafica.unizar.es/proyectosemergentes2012/pry/1.Accesorio_extensible.html) o un carro plegable con más de 30 planos (http://www.egrafica.unizar.es/proyectosemergentes2012/pry/17.WOW.html)
Aunque es posible ir realizando el seguimiento de un proyecto a través de distintos entregables, al final es imprescindible una evaluación conjunta del mismo ya que el producto, instalación o servicio diseñado solo puede quedar definido por la conjunción de toda la documentación.
Metodología docente utilizada
El sistema implantado consiste en un método de evaluación de proyectos industriales, desarrollados como trabajo colaborativo entre estudiantes del cuarto curso de los grados en ingeniería.
La posibilidad de que el alumno acceda en la nube a la corrección detallada de sus proyectos, así como a un resumen de las correcciones realizadas a sus compañeros en el mismo proyecto o en proyectos anteriores, le sirven como base para redactar el plan de gestión de calidad de redacción de su proyecto, aumentando la calidad final del mismo.
TIC usadas
El sistema se ha implementado en un servidor XAMP, con todas las ventajas que ello supone. Se ha desarrollado un panel de control para el profesorado que le permite gestionar toda la información referida al sistema. Puede crear y editar plantillas, con sus rúbricas asociadas, crear las correcciones de los proyectos vinculadas a las plantillas, ir leyendo el contenido de la norma a la vez que se corrige el apartado correspondiente, etc. Aunque se puede añadir registros nuevos por medio del formulario correspondiente, es más cómodo importar tanto las plantillas como las rúbricas desde una hoja de cálculo.
La página web de alumno es totalmente accesible, facilitando su consulta a través de su teléfono móvil.
La parte fundamental del sistema consiste en la gestión de la gran información que esto implica. Siguiendo el orden en que aparecen los proyectos en la página del alumno, más la plantilla utilizada en la asignatura de Oficina de Proyectos, los datos son los siguientes:
- Número de apartados evaluables de cada proyecto (los apartados del proyecto, generalmente, equivalente a las preguntas de una rúbrica): 53, 37 y 117. Esta última plantilla incluye la corrección de los cuatro entregables previos a la presentación definitiva del proyecto. Cada apartado evaluable tiene asociada una calificación más la ponderación de ese punto dentro del nivel superior que el profesor decide al generar cada plantilla. En el documento pdf adjunto se puede ver la imagen de la primera en las páginas 2 a 4.
- Número de registros asociados a cada rúbrica, esto es, el número de líneas de texto que el profesor lee al corregir cada proyecto: 551, 387 y 1421. Cada registro puede ser únicamente texto que ve el profesor y/o el alumno, una calificación de una pregunta o la modificación de la calificación de una pregunta. En la página 13 se puede ver la descomposición de la rúbrica del apartado «Resultados finales».
- Por último, cada proyecto lleva asociada una serie de registros de calificación que, generalmente, suelen ser la calificación de cada apartado más los modificadores de esa calificación. Esto es variable, pero rondan en torno a los siguientes valores: 60, 45 y 150. La calificación de cada proyecto es la suma ponderada, según lo indicado en la plantilla, de cada uno de estos datos. Esto se puede ver en el documento adjunto en la página 10. Por ese apartado se almacena el objetivo «CORRECTO», con una calificación de 10, más el modificador «No hace referencia a los planos y otros elementos del Proyecto que lo definen», que resta un punto a la calificación final del apartado.
El documento pdf se adjunta AQUÍ con los siguientes datos:
- Página de 2 a 4: Editor de plantilla de corrección. Cada línea se corresponde con un documento, apartado o subapartado del proyecto, lo que sería equivalente a las preguntas de la rúbrica (en esta caso, la plantilla solo tiene tres niveles). Además de indicar el orden en que aparece, el nivel y el texto, también se indica la ponderación de la calificación obtenida en cada uno de ellos. La calificación de un apartado se obtiene con la suma ponderada de sus subapartados, si los tiene. No hay límite de niveles. Las columnas 4 y 5 aparecen de color verde siempre que la suma de los porcentajes un nivel es del 100% del nivel superior. En las columnas 6 y 7 se encuentran los botones que permiten modificar la entrada, editar el texto explicativo que acompaña al apartado y acceder al editor de rúbricas. La última columna permite borrar el registro y aparece de color rojo avisando de que ya han realizado correcciones con este apartado. Al final se encuentra el control que permite añadir registros, aunque es mejor importarlos directamente desde una hoja de cálculo.
- Página de 6 a 9: Cabecera de la corrección del proyecto. En la parte superior se puede añadir la información necesaria a la corrección, especificando para quién estará visible. La parte inferior presenta el índice de todos los aparados del proyecto susceptible de ser corregidos, con el correspondiente hipervínculo a la página de edición. También se puede ver la puntuación obtenida en cada apartado, además de llevar el control de los apartados pendientes de corregir.
- Páginas 10 y 12: Hoja de corrección de un apartado (el de Resultados Finales, concretamente). Al puntuar cada apartado se pasa, de forma automática, al apartado siguiente. Al final de la hoja vuelve a aparecer el índice del proyecto. Lo hemos interrumpido para ahorrar espacio.
- Página 13: Editor de la rúbrica del apartado anterior. Por medio de una serie de códigos se configura la respuesta del programa.
Carácter innovador a destacar en la actividad
El desarrollo de esta herramienta y su aplicación en la actividad docente ha supuesto una importante mejora en el proceso de evaluación de los proyectos realizados por los alumnos.
Esto se ha debido principalmente a que permite una evaluación completa y detallada de todos los apartados que forman parte de un proyecto, asegura una objetividad constante y favorece la armonización de los resultados obtenidos por los distintos profesores que imparten la asignatura.
Además, el proceso de aprendizaje se favorece ya que al acceder a la aplicación el alumno dispone de los resúmenes de las evaluaciones realizadas.
Indicadores que cuantifiquen las mejoras en el aprendizaje
Teniendo en cuenta que el sistema lleva un registro del acceso de los alumnos a las correcciones previas, si comparamos los resultados de la asignatura 25821 (Oficina Técnica del Grado en Ingeniería de Diseño Industrial y Desarrollo del Producto) de los cursos 2012/13 y 2013/14 podemos destacar lo siguiente:
- En el curso 2012/2013, al menos un alumno de cada grupo accedió al resumen de las correcciones de todos los apartados del proyecto antes de la entrega de su primer proyecto. Únicamente 2 de 16 grupos redactaron de forma incorrecta el plan de gestión de calidad y la nota media de los proyectos fue de 7,6
- En el curso 2013/2014, ningún alumno accedió a estos resúmenes. En ese caso, 10 de los 15 proyectos redactaron el plan de gestión de calidad de forma incorrecta y la nota media bajó a un 6,4
- Para comprobar la objetividad del sistema de corrección, se realizó la siguiente prueba: los dos profesores responsables de la asignatura de Oficina Técnica, corrigieron los mismos cinco proyectos cada uno, para comparar la calificación final de los mismos. En ningún, caso la diferencia de puntuación de cada proyecto se acercó al 5% de la nota final.
- Otro punto fuerte del sistema lo comprobamos al realizar las revisiones de los proyectos con los alumnos. Atendiendo a las reclamaciones que hicieron a las correcciones, la nota final únicamente varió en una décima de punto.
Sostenibilidad a lo largo de otros cursos
La primera versión del sistema se puso en funcionamiento en el curso 2011/2012, aún sin el sistema de rúbricas que se implantaría al curso siguiente, aplicándose en las asignaturas 25821 (Oficina Técnica del Grado en Ingeniería de Diseño Industrial y Desarrollo del Producto) y en la asignatura 20917 (Oficina Técnica de la Ingeniería Técnica Industrial, especialidad Química).
Debido a la extinción de las ingenierías técnicas, durante el curso 2012/2013 únicamente se utilizó en la asignatura 25821 (Oficina Técnica del Grado en Ingeniería de Diseño Industrial y Desarrollo del Producto).
Este curso se sigue utilizando en la asignatura 25821 (Oficina Técnica del Grado en Ingeniería de Diseño Industrial y Desarrollo del Producto) junto a la asignatura 29929 (Oficina de Proyectos del Grado en Ingeniería Química) implantada este curso. La intención es ir empleando el sistema en las distintas asignaturas de Oficina de Proyectos impartidas por profesores del Área de Expresión Gráfica en la Ingeniería, en los grados en Ingeniería Mecánica, en Ingeniería Eléctrica y en Ingeniería Electrónica y Automática.
Se van realizando sucesivas mejoras y se espera igualmente abordar nuevas actuaciones de mejora relacionadas con la gestión de proyectos, que permitan un control continuado de su progreso.
Transferibilidad de los diseños y tecnologías
El sistema diseñado es totalmente abierto. Si bien, las plantillas empleadas se corresponde con la estructura de la norma UNE 157001, ya que el sistema se utiliza en las asignaturas de Oficina Técnica y en Oficina de Proyectos, es posible emplear cualquier plantilla, con un número ilimitado de apartados y con un número ilimitado de niveles dentro de cada apartado. Una vez introducida la plantilla en el sistema, se puede fijar la puntuación y la ponderación de cada apartado según las necesidades concretas de cada caso.