Using reversed items in Likert scales: A questionable practice

Abstract

The use of positively worded items and reversed forms aims to reduce response bias and is a commonly used practice nowadays. The main goal of this research is to analyze the psychometric implications of the use of positive and reversed items in measurement instruments. Method: A sample of 374 participants was tested aged between 18 and 73 (M=33.98; SD=14.12), 62.60% were women. A repeated measures design was used, evaluating the participants with positive, reversed, and combined forms of a self-effi cacy test. Results: When combinations of positive and reversed items are used in the same test the reliability of the test is fl awed and the unidimensionality of the test is jeopardized by secondary sources of variance. In addition, the variance of the scores is reduced, and the means differ signifi cantly from those in tests in which all items are either positive or reversed, but not combined. Conclusions: The results of this study present a trade-off between a potential acquiescence bias when items are positively worded and a potential different understanding when combining regular and reversed items in the same test. The specialized literature recommends combining regular and reversed items for controlling for response style bias, but these results caution researchers in using them as well after accounting for the potential effect of linguistic skills and the fi ndings presented in this study.

Antecedentes: el uso de ítems formulados positivamente junto con otros inversos es una práctica habitual para tratar de evitar sesgos de respuesta. El objetivo del presente trabajo es analizar las implicaciones psicométricas de utilizar ítems directos e inversos en la misma prueba. Método: se utilizó una muestra de 374 participantes con edades comprendidas entre 18 y 73 años (M=33.98; DT=14.12), con un 62,60% de mujeres. Mediante un diseño de medidas repetidas se evaluó a los participantes en una prueba de autoefi cacia con tres condiciones: todos los ítems positivos, todos negativos y un combinado de ambos. Resultados: cuando se utilizan en la misma prueba tanto ítems positivos como negativos su fi abilidad se deteriora, y la unidimensionalidad de la prueba se ve comprometida por fuentes secundarias de varianza. La varianza de las puntuaciones disminuye, y las medias difi eren signifi cativamente respecto de las pruebas en las que todos los ítems están formulados positiva o negativamente. Conclusiones: los resultados de este estudio presentan una disyuntiva entre un posible sesgo de aquiescencia cuando los ítems tienen una redacción positiva y una comprensión potencialmente diferente cuando se combinan ítems regulares e invertidos en la misma prueba. La literatura especializada recomienda combinar ítems regulares e invertidos para poder controlar el sesgo del estilo de respuesta, pero estos resultados advierten a los investigadores que los usen también después de tener en cuenta el potencial efecto de las habilidades lingüísticas y de los hallazgos presentados en este estudio.