Validación de una rúbrica para la evaluación de trabajos fin de máster

Abstract

Las rúbricas se han convertido en un instrumento de evaluación de competencias apropiado para valorar el proceso y los resultados de aprendizaje en el contexto de la educación superior, así como para orientar el trabajo de los estudiantes. En este trabajo se presenta una rúbrica para evaluar el Trabajo Fin de Máster (TFM) de los estudiantes y el proceso de validación de la misma. La rúbrica se compone de 4 dimensiones: aspectos formales, contenido y metodología, resultados y conclusiones, y relevancia de las aportaciones para la mejora educativa. Se ha aplicado a 34 TFM que han recibido un total de 136 valoraciones por parte de los docentes. Los resultados muestran un grado de fiabilidad excelente en base a la concordancia inter-jueces en la puntuación final de la rúbrica (CCI = 0,80), si bien la concordancia en las categorías cualitativas de evaluación es más baja (valores Kappa menores a 0,40). Se garantiza su validez de contenido a través del juicio de expertos y la validez criterial mediante correlación Pearson con la variable externa “nota media del alumnado en el máster exceptuando el TFM” que aporta un valor de 0,58. Así pues, la rúbrica que se propone resulta ser un instrumento de evaluación riguroso cuyo uso podría transferirse a otros contextos similares.

Rubrics have become an appropriate competence assessment instrument to assess the learning process and outcomes in the context of higher education, as well as to guide students´ work. This paper presents a rubric to assess the students´ Final Master’s Thesis (FMT) and its process of validation. The rubric is made up of 4 dimensions: formal aspects, content and methodology, results and conclusions, and relevance of the contributions for educational improvement. It has been applied to 34 FMTs that have been received 136 ratings from teachers. The results show an excellent degree of reliability based on the inter-judge agreement in the final score of the rubric (CCI = 0.80), although the agreement in the qualitative assessment categories is lower (Kappa values lower than 0.40). Its content validity is guaranteed through expert judgment and criterial validity through Pearson correlation with an external variable " students´ average grade in the Master's Degree except the FMT", which provides a value of 0.58. Thus, the proposed rubric turns out to be a rigorous assessment instrument whose use could be transferred to other similar contexts.