Design and consensus content validity of the questionnaire for b-learning education: A 2-Tuple Fuzzy Linguistic Delphi based Decision Support Tool

Abstract

Este trabajo presenta un modelo lingüístico de toma de decisión que aporta además una solución software para poder aplicar la validación de constructo mediante juicio de expertos totalmente online y con asistencia al cálculo del consenso y a la toma de decisión en cuanto a los cambios que se debe tomar para mejorar de forma iterativa un instrumento de toma de datos. La idea clave es validar el cuestionario definiendo la validez de cada ítem como un problema de Toma de Decisiones. Tomando la opinión de expertos, medimos el grado de consenso, el grado de consistencia y la puntuación lingüística de cada ítem, con el fin de detectar aquellos ítems que afectan, positiva o negativamente, a la calidad del instrumento. El trabajo aborda un caso real de validación de instrumentos. Para ello se ocupa de la necesidad en contextos educativos de evaluar una experiencia de blended learning con un cuestionario consensuado que abarca dimensiones relativas a Flipped Classroom y Mobile Learning. Además, contribuimos a este problema de consenso desarrollando una herramienta online bajo licencia GPL v3. El software visualiza las valoraciones colectivas para cada iteración y ayuda a determinar qué partes del cuestionario deben modificarse para alcanzar una solución consensuada.

This work presents a linguistic decision-making model that also provides a software solution for applying construct validation by means of fully online expert judgment and with assistance in calculating consensus and making decisions regarding the changes to be made to iteratively improve a data collection instrument. The key idea is to validate the questionnaire by defining the validity of each item as a Decision Making problem. Taking expert opinion, we measure the degree of consensus, the degree of consistency and the linguistic score of each item, in order to detect those items that affect, positively or negatively, the quality of the instrument. The model deals with a real case of instrument validation. It deals with the need in educational contexts to evaluate a blended learning experience with a consensual questionnaire that covers dimensions related to Flipped Classroom and Mobile Learning. In addition, we contribute to this consensus problem by developing an online tool under GPL v3 license. The software visualizes the collective ratings for each iteration and helps to determine which parts of the questionnaire should be modified to reach a consensus solution.