Cómo leer un estudio de Psicología sin dejarte engañar

"Un estudio demuestra que…" Lo leerás mil veces en titulares, redes sociales y hasta en algunos manuales. Como futuro psicólogo, una de las habilidades más valiosas que puedes desarrollar es saber qué preguntas hacerle a un estudio antes de creértelo. Y la historia reciente de nuestra disciplina da buenas razones para ello.

La crisis de replicación, en pocas palabras

En 2015, un consorcio de investigadores, la Open Science Collaboration, intentó replicar 100 estudios publicados en tres revistas importantes de Psicología. Usaron diseños con alta potencia estadística y, siempre que fue posible, los materiales originales (Open Science Collaboration, 2015). Estos fueron los resultados:

• El 97 % de los estudios originales tenía resultados estadísticamente significativos.
• Solo el 36 % de las replicaciones los obtuvo.
• Los efectos replicados tenían, de media, la mitad del tamaño que los originales.

Esto no significa que "la Psicología no sirve" ni que los estudios originales fueran fraudulentos. Significa que el sistema de publicación favorecía resultados llamativos y poco sólidos. La disciplina reaccionó cambiando muchas prácticas, y conocer esos cambios te ayudará a leer mejor.

Por qué un estudio puede dar un resultado falso sin que nadie mienta

Grados de libertad del investigador

Simmons, Nelson y Simonsohn (2011) mostraron con simulaciones y experimentos reales lo fácil que es obtener resultados "significativos" para hipótesis falsas. Basta con tomar decisiones flexibles durante el análisis, como añadir participantes hasta que salga el resultado, elegir entre varias medidas, excluir casos o añadir covariables. Cada decisión parece razonable por separado, pero juntas disparan la tasa de falsos positivos muy por encima del 5 % teórico.

Poca potencia estadística

Un estudio con muestra pequeña tiene menos probabilidad de detectar un efecto real. Menos conocido es que, cuando encuentra un resultado significativo, es menos probable que ese resultado sea verdadero y más probable que exagere el tamaño del efecto (Button et al., 2013).

Sesgo de publicación

Si solo se publican los resultados positivos, la literatura acumula los "golpes de suerte" y esconde los estudios que no encontraron nada. Ioannidis (2005) formalizó cómo la combinación de estudios pequeños, efectos pequeños, diseños flexibles y presión por publicar puede hacer que en algunos campos la mayoría de hallazgos publicados sean falsos.

Las soluciones: qué ha cambiado

La comunidad científica ha impulsado medidas para hacer la investigación más fiable (Munafò et al., 2017):

• Preregistro: los investigadores publican sus hipótesis y su plan de análisis antes de ver los datos. Así se distingue lo que era una predicción de lo que se descubrió después (Nosek et al., 2018).
• Informes registrados: la revista acepta el estudio por su pregunta y su método, antes de conocer los resultados.
• Datos y materiales abiertos, que permiten a otros revisar y reproducir los análisis.
• Replicaciones y estudios multicéntricos con muestras grandes.
• Tamaños del efecto e intervalos de confianza, y no solo valores p.

Checklist: diez preguntas para cualquier estudio

1. ¿Qué tipo de diseño es? ¿Experimental, correlacional, un caso único…? Recuerda que la correlación no permite afirmar causalidad.
2. ¿Cuántos participantes tiene y quiénes son? Una muestra pequeña o muy particular, por ejemplo solo estudiantes de un curso, limita las conclusiones.
3. ¿Justifican el tamaño muestral con un análisis de potencia?
4. ¿Qué tamaño tiene el efecto? Un resultado puede ser estadísticamente significativo y, a la vez, clínicamente irrelevante.
5. ¿Hay intervalos de confianza? Un intervalo muy amplio indica mucha incertidumbre.
6. ¿Estaba preregistrado? Si lo estaba, ¿coinciden los análisis publicados con los planificados?
7. ¿Hay grupo de control adecuado? En estudios de intervención, no es lo mismo compararse con una lista de espera que con otro tratamiento activo.
8. ¿Se ha replicado? Un único estudio es un punto de partida, no una conclusión.
9. ¿Qué dicen las revisiones sistemáticas y los metaanálisis? Aportan una visión más completa que un estudio aislado, aunque también dependen de la calidad de los estudios que incluyen.
10. ¿Hay conflictos de interés o una conclusión demasiado buena para ser verdad?

Señales de alerta en titulares y redes

• Verbos absolutos como "demuestra", "cura" o "cambia tu cerebro".
• Conclusiones sobre personas a partir de estudios con animales o en laboratorio muy artificiales.
• Un efecto enorme conseguido con una intervención mínima.
• Ausencia de enlace al estudio original.

Por qué esto te importa como futuro psicólogo

La práctica basada en la evidencia empieza por saber distinguir la evidencia sólida de la débil. Lo que aprendes en Estadística y Métodos de Investigación no es un trámite: es la herramienta que te permitirá elegir bien los tratamientos, evaluar los tests que uses y explicar a tus pacientes qué pueden esperar.

Referencias

• Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J. y Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
• Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., … Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021. https://doi.org/10.1038/s41562-016-0021
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C. y Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Simmons, J. P., Nelson, L. D. y Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632