Assessment of written performance: tracing raters' decision making process

Abstract

Written performance assessment is mostly carried out using direct tasks the marking of which involves trained raters. Thus, the final judgement is a result of interplay between the task, the measurement instrument, and the rater. The present study gives an insight into the way raters arrive at a decision. Five Hungarian teachers of German and English took part in rating compositions in a nationwide survey in Hungary. They were asked to produce think-aloud protocols during the rating process, which were later transcribed and analysed. The presented data show the procedure that raters followed in marking the scripts.

La valoración de la expresión escrita se realiza mayormente con ejercicios directos cuya evaluación necesita evaluadores entrenados. De esta manera, la decisión final refleja la relación entre el ejercicio, el instrumento de medida y el evaluador. El presente estudio permite analizar y conocer el pensamiento de varios evaluadores donde se observa el tipo de decisiones que toman. Cinco profesores hungaros de alemán e inglés evaluaron composiciones en un estudio nacional. Durante la evaluación grabamos lo que ellos pensaban en voz alta, después los datos fueron analizados. Todo el proceso de la evaluación se puede seguir por los datos presentados.