La crisis de replicación en psicología: qué pasó y qué ha cambiado

Que un resultado aparezca en una revista científica no garantiza que sea verdad. La ciencia avanza precisamente porque los hallazgos se ponen a prueba una y otra vez. Durante la década de 2010, la psicología se miró al espejo y descubrió que muchos de sus resultados no superaban esa prueba con la facilidad que se suponía. A ese periodo se le llama la crisis de replicación, y entenderlo te hará mejor lector de estudios y mejor investigador.

El proyecto que lo cambió todo

En 2015, la Open Science Collaboration, un consorcio de cientos de investigadores, publicó en Science el resultado de intentar replicar 100 estudios aparecidos en 2008 en tres revistas importantes de psicología (Open Science Collaboration, 2015).

• En los estudios originales, el 97 % de los resultados principales eran estadísticamente significativos.
• En las replicaciones, solo lo fue alrededor del 36 %.
• De media, el tamaño de los efectos en las replicaciones fue aproximadamente la mitad que en los originales.

Esto no significa que dos tercios de la psicología sean falsos. Una replicación individual también puede fallar por azar o por diferencias en la muestra o el procedimiento. Pero el patrón general dejaba claro que la literatura publicada sobrestimaba la fuerza y la fiabilidad de muchos efectos.

Por qué ocurrió: los grados de libertad del investigador

Unos años antes, Simmons, Nelson y Simonsohn (2011) habían mostrado cómo es posible encontrar resultados «significativos» que no existen sin cometer fraude. Basta con aprovechar decisiones aparentemente razonables que se toman durante el análisis:

• Recoger datos y mirar los resultados antes de decidir si se recogen más.
• Medir varias variables dependientes y quedarse con la que «funciona».
• Excluir participantes o añadir covariables según convenga.
• Informar solo de las condiciones experimentales que dieron resultado.

Para demostrarlo, llegaron a «probar» con datos reales que escuchar una canción de los Beatles sobre hacerse mayor hacía a la gente literalmente más joven. Combinando estas decisiones flexibles, la probabilidad de obtener un falso positivo superaba con creces el 5 % que se supone que permite el umbral p < .05.

A esto se sumaba el sesgo de publicación: las revistas preferían resultados nuevos y positivos, y los estudios que no encontraban nada solían quedarse en un cajón.

Idea clave: el problema no fue principalmente el fraude, sino un sistema de incentivos que premiaba resultados llamativos y unas prácticas de análisis demasiado flexibles.

Qué ha cambiado desde entonces

La respuesta de la disciplina ha sido uno de sus mejores capítulos recientes:

• Prerregistro. Antes de recoger los datos, el equipo deja registradas sus hipótesis, el tamaño de la muestra y el plan de análisis. Así se distingue lo que estaba previsto de lo que se exploró después (Nosek et al., 2018).
• Informes registrados. La revista acepta el artículo por la calidad de su pregunta y su método antes de conocer los resultados, lo que elimina el incentivo de buscar significación.
• Datos y materiales abiertos. Cada vez más estudios comparten sus datos y su código para que cualquiera pueda comprobarlos.
• Muestras más grandes y replicaciones multicentro. Varios laboratorios repiten el mismo estudio a la vez con un protocolo común.

Cómo te afecta como estudiante

1. Desconfía del estudio único. Un hallazgo es más creíble cuando se ha replicado, mejor aún si ha sido por equipos independientes y con muestras grandes.
2. Fíjate en el tamaño del efecto, no solo en si es significativo.
3. Busca el prerregistro cuando leas un estudio reciente.
4. Si investigas en tu TFG, registrar tus hipótesis y tu plan de análisis antes de empezar es una práctica excelente y cada vez más valorada.

Idea clave: la crisis de replicación no es un motivo para desconfiar de la psicología, sino un ejemplo de cómo la ciencia se corrige a sí misma.

Referencias

• Nosek, B. A., Ebersole, C. R., DeHaven, A. C. y Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Simmons, J. P., Nelson, L. D. y Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632