Bridging assessment and learning: a cognitive diagnostic analysis of a large-scale Spanish proficiency test

Abstract

The literature has highlighted the importance of Cognitive Diagnostic Assessment (CDA) of large-scale, high-stakes language tests to assess the individualized strengths and weaknesses of every learner. However, there are relatively few studies on the accuracy and applicability of feedback information in follow-up teaching and learning practices. Using both the diagnostic results of 1933 test takers derived from the Generalized Deterministic Inputs, Noisy and Gate (G-DINA) model of a national Spanish test (EEE) and qualitative data from the test takers’ literature reviews in their bachelor thesis drafts, the precision of the diagnostic feedback was examined to verify its usefulness for the improvement of academic reading. The results showed that the G-DINA model had an appropriate model fit to the test performance data, and that the CDA is able to identify the specific skill profiles of each test taker, which were not always consistent with the scores provided by classical test analysis. The triangulation of the diagnostic reports and the literature reviews from the learners’ thesis drafts, clearly showed that CDA used for a large-scale test can assess reading skills accurately and the feedback is valuable for improving the future academic reading and thesis revision

En el contexto de las pruebas a gran escala, previos estudios han destacado la importancia de la Evaluación Diagnóstica Cognitiva con el propósito de proveer las fortalezas y debilidades de cada alumno. Sin embargo, son escasos los estudios cuyo objetivo es verificar la precisión de los resultados y la viabilidad de enlazarlos con el futuro aprendizaje y enseñanza. Se ha empleado diagnosis cognitiva con el Modelo Generalizado de Entrada Determinista, Ruido y Puerta para analizar el puntaje de 1933 participantes en una prueba nacional de español (EEE). Se han analizado los datos cualitativos de la revisión de literatura en sus borradores de trabajo de grado para corroborar la exactitud de los resultados diagnósticos y su uso para mejorar la lectura académica. Los resultados indican que el modelo se ajusta a la prueba y permite determinar el perfil cognitivo de cada participante, lo que no siempre es viable en los análisis tradicionales de la prueba. La triangulación y análisis de los informes diagnósticos y las revisiones de literatura en los trabajos del grado, ha puesto de manifiesto que la diagnosis cognitiva permite una evaluación más precisa de las habilidades de lectura de los estudiantes y que la información obtenida puede ser de gran utilidad para futuras lecturas académicas y revisión de tesis.