Diseño y validación de un instrumento para analizar el sistema de evaluación de las guías docentes universitarias en la formación inicial del profesorado (IASEG)

Abstract

La evaluación formativa ha sido considerada como un elemento altamente coherente en el diseño de programas docentes universitarios basados en competencias. A partir de esta concepción formativa de la evaluación, el objetivo de este estudio se ha centrado en alcanzar un consenso de expertos para crear y validar un instrumento que permita valorar la eficacia de los sistemas de evaluación, presentes en las guías universitarias de la formación inicial del profesorado, para detectar el grado de adquisición de competencias docentes. Se utilizó para ello el método Delphi. Inicialmente, a partir de una exhaustiva revisión bibliográfica y de un ciclo de juicios de expertos, se identificaron las dimensiones y elementos constitutivos de los sistemas de evaluación, creándose un primer instrumento para el análisis de los mismos. Posteriormente, el instrumento se envió en dos rondas al grupo de expertos, mediante el que se llegó a consensos óptimos sobre el nivel de eficacia de los distintos elementos de los sistemas de evaluación para valorar competencias docentes. Finalmente, se efectuó una prueba piloto en la que tres evaluadores analizaron una muestra de guías docentes aplicando el instrumento. El grado de acuerdo entre expertos para la delimitación de los ítems y dimensiones, la compactibilidad hallada durante el análisis Delphi y la concordancia de evaluadores en la prueba piloto, arrojaron datos que permitieron concluir la validez del instrumento diseñado.

The formative assessment has been considered as an element highly coherent in the design of the teachers programs based on competencies at university. According to this formative assessment concept, the aim of this study has focused on reaching a consensus of experts to create and validate an instrument which provides to judge the effectiveness of assessment’s systems, present in the courses guides of the Teaching training at University, to detect teaching skills. The Delphi method was used for this purpose. Initially, from a comprehensive literature review and a cycle of experts’ judgement, they were identified the dimensions and elements of assessments’ systems, creating a first instrument for the analysis of the same. Subsequently, the instrument was sent in two rounds to the Group of experts, which found an optimal consensus on the level of effectiveness of the various elements of the assessments’ systems to assess teaching skills. Finally, a pilot test was carried out; three evaluators analyzed a sample of courses guides applying the instrument. The degree of agreement among experts for the delimitation of the items and dimensions, the compactness found during the Delphi analysis and concordance of evaluators in the pilot test, produced data of the direct evidence the validity of the instrument designed.