Effect size as an alternative to statistical significance testing. A practical example with JASP

Abstract

The work addresses the criticism of the exclusive reliance on statistical significance (SS) in scientific research and proposes the use of effect size (ES) as a more robust and explanatory alternative. Two main weaknesses of SS are highlighted: its dependence on sample size and the arbitrariness of the p-value threshold (generally 0.05). These limitations can lead to misinterpretations and questionable practices such as "p-hacking" or data dredging. Effect size is presented as a quantitative measure of the magnitude of a phenomenon, independent of sample size, facilitating comparison between studies and diverse contexts. It is classified into various typologies: mean differences (Cohen's d, Hedges' g, Glass' Δ), correlations (Pearson's r, r²), analysis of variance (η², ω², Cohen's f), and odds ratios (Odds Ratio, Risk Ratio). The interpretation of ES varies according to context, but general guidelines suggest that values such as 0.2, 0.5, and 0.8 in Cohen's d represent small, medium, and large effects, respectively. Finally, a practical example is included to illustrate the application of these measures and how SS and ES can lead to contrasting conclusions.

El texto aborda la crítica a la dependencia exclusiva de la significación estadística en la investigación científica y propone el uso del tamaño del efecto (TE) como una alternativa más robusta y explicativa. Se destacan dos principales debilidades de la significación estadística: su dependencia del tamaño muestral y la arbitrariedad del umbral del valor p (generalmente 0.05). Estas limitaciones pueden llevar a interpretaciones erróneas y prácticas cuestionables como el "p-hacking" o dragado de datos. El tamaño del efecto se presenta como una medida cuantitativa de la magnitud de un fenómeno, independiente del tamaño de la muestra, que facilita la comparación entre estudios y contextos diversos. Se clasifica en varias tipologías: diferencias de medias (d de Cohen, g de Hedges, Δ de Glass), correlaciones (r de Pearson, r²), análisis de varianza (η², ω², f de Cohen) y razones de probabilidades o cuotas (Odds Ratio, Risk Ratio). La interpretación del TE varía según el contexto, pero guías generales sugieren que valores como 0.2, 0.5 y 0.8 en d de Cohen representan efectos pequeños, medianos y grandes, respectivamente. Finalmente, se incluye un ejemplo práctico para ilustrar la aplicación de estas medidas y como la significación estadística y los tamaños del efecto pueden llegar a conclusiones contrarias.