Detecting differential item functioning in behavioral indicators across parallel forms

Abstract

Background: Despite the crucial importance of the notion of parallel forms within Classical Test Theory, the degree of parallelism between two forms of a test cannot be directly verified due to the unobservable nature of true scores. We intend to overcome some of the limitations of traditional approaches to analyzing parallelism by using the Differential Item Functioning framework. Method: We change the focus on comparison from total test scores to each of the items developed during test construction. We analyze the performance of a single group of individuals on parallel items designed to measure the same behavioral criterion by several DIF techniques. The proposed approach is illustrated with a dataset of 527 participants that responded to the two parallel forms of the Attention Deficit-Hyperactivity Disorder Scale (Caterino, Gómez-Benito, Balluerka, Amador-Campos, & Stock, 2009). Results: 12 of the 18 items (66.6%) show probability values associated with the Mantel χ2 statistic of less than .01. The standardization procedure shows that half of DIF items favoured Form A and the other half Form B. Conclusions: The “differential functioning of behavioral indicators” (DFBI) can provide unique information on parallelism between pairs of items to complement traditional analysis of equivalence between parallel test forms based on total scores.

Antecedentes: a pesar de la importancia crucial del concepto de formas paralelas en la Teoría Clásica de los Tests, el grado de paralelismo entre dos formas paralelas no puede comprobarse directamente debido al carácter inobservable de las puntuaciones verdaderas. Nuestra propuesta pretende superar algunas de las limitaciones de los métodos tradicionales utilizando el esquema del Funcionamiento Diferencial del Item. Método: cambiamos el objeto de la comparación de las puntuaciones totales a cada uno de los ítems individuales. Analizamos las puntuaciones de un único grupo de participantes en ítems paralelos diseñados para medir los mismos criterios comportamentales. Ejemplificamos la propuesta con las respuestas de 527 participantes a las dos formas paralelas de la “Attention Deficit-Hyperactivity Disorder Scale” (Caterino, Gómez-Benito, Balluerka, Amador-Campos, & Stock, 2009).Resultados: 12 de los 18 ítems (66,6%) muestran valores de probabilidad asociados con el estadístico Mantel χ2 menores de .01. El procedimiento de Estandarización muestra que la mitad de los ítems con DIF favorecen a la Forma A y la otra mitad a la Forma B. Conclusiones: el procedimiento “differential functioning of behavioral indicators” (DFBI) puede aportar información única sobre el paralelismo entre parejas de ítems complementando el análisis tradicional de la equivalencia de formas paralelas.