Assessment of written performance: tracing raters' decision making process Bukta, Katalin Writing skill Expresión escrita Assessment Evaluación Assessment procedure Proceso de evaluación Think-aloud protocol Proceso de pensamiento en voz alta Decision-making Proceso de decisión Written performance assessment is mostly carried out using direct tasks the marking of which involves trained raters. Thus, the final judgement is a result of interplay between the task, the measurement instrument, and the rater. The present study gives an insight into the way raters arrive at a decision. Five Hungarian teachers of German and English took part in rating compositions in a nationwide survey in Hungary. They were asked to produce think-aloud protocols during the rating process, which were later transcribed and analysed. The presented data show the procedure that raters followed in marking the scripts. La valoración de la expresión escrita se realiza mayormente con ejercicios directos cuya evaluación necesita evaluadores entrenados. De esta manera, la decisión final refleja la relación entre el ejercicio, el instrumento de medida y el evaluador. El presente estudio permite analizar y conocer el pensamiento de varios evaluadores donde se observa el tipo de decisiones que toman. Cinco profesores hungaros de alemán e inglés evaluaron composiciones en un estudio nacional. Durante la evaluación grabamos lo que ellos pensaban en voz alta, después los datos fueron analizados. Todo el proceso de la evaluación se puede seguir por los datos presentados. 2014-05-07T11:04:04Z 2014-05-07T11:04:04Z 2007-06 info:eu-repo/semantics/article Bukta, K. Assessment of written performance: tracing raters' decision making process. Porta Linguarum, 8: 21-40 (2007). [http://hdl.handle.net/10481/31618] 1697-7467 D.L.: GR 43-2004 http://hdl.handle.net/10481/31618 10.30827/Digibug.31618 eng http://creativecommons.org/licenses/by-nc-nd/3.0/ info:eu-repo/semantics/openAccess Creative Commons Attribution-NonCommercial-NoDerivs 3.0 License Universidad de Granada