Validity evidence based on response processes

Abstract

Background: Validity evidence based on response processes was first introduced explicitly as a source of validity evidence in the latest edition of Standards for Educational and Psychological Testing. In this paper, we present the theory, the relationship with other sources of validity evidence, and the methods available for validation studies aimed at obtaining validity evidence about response processes. Method: A comprehensive review of the literature along with theoretical and practical proposals. Results: The articles provides arguments for determining when validity evidence based on response processes is critical for supporting the use of the test for a particular purpose, and examples of how to perform a validation study to obtain such validity evidence. Conclusions: There are methods for obtaining validity evidence based on response processes. Special attention should be paid to validation studies using the cognitive interview method given its features and possibilities. Future research problems pose how to combine data from different methods —qualitative and quantitative—, to develop complete validity arguments that support the use of the test for a particular purpose.

Antecedentes: la evidencia de validez basadas en los procesos de respuestas fue incluida explícitamente por primera vez como fuente de evidencias de validez en la última edición de los Standards for Educational and Psychological Testing. En este artículo, presentamos la teoría, la relación con otras fuentes de evidencias de validez, y los métodos disponibles para realizar estudios de validación cuyo objetivo sea obtener evidencias de validez sobre los procesos de respuesta. Método: una extensa revisión de la literatura junto con propuestas teóricas y prácticas. Resultados: el artículo aporta argumentos para determinar cuando la evidencia de validez basada en los procesos de respuesta es crítica para apoyar el uso del test para un objetivo particular, y ejemplos de cómo realizar un estudio de validación para obtener tales evidencias de validez. Conclusiones: hay métodos para obtener evidencias de validez basadas en los procesos de respuesta. Debe prestarse especial atención a los estudios de validación mediante el método de entrevista cognitiva por sus características y posibilidades. Futuros problemas de investigación plantean como combinar datos de métodos diferentes —cualitativos y cuantitativos—, para elaborar argumentos de validez que apoyen el uso del test para un objetivo particular.