La irreproducibilidad psicológica: cuando la ciencia no replica resultados

01/09/2015 - 12:00 am
No siempre es lo mismo. Aunque los estudios repitieron los mismos procesos, los resultados no se replicaron en todos. foto: Shutterstock
No siempre es lo mismo. Aunque los estudios repitieron los mismos procesos, los resultados no se replicaron en todos. foto: Shutterstock

Ciudad de México, 1 de septiembre (SinEmbargo).- Cada año surgen novedosos e incluso inverosímiles estudios psicológicos que se encargan de desentrañar la condición humana en todos los ámbitos. Sin embargo, ¿qué pasaría si estos hallazgos no fueran tan confiables o, por lo menos, no aplicables para todo mundo? A esta conclusión llegó un grupo de científicos que decidió replicar 100 estudios psicológicos y encontraron que menos de la mitad de estos tuvieron los mismos resultados que los originales. Incluso aquellos que en su tiempo fueron publicados en los más renombrados diarios científicos.

De acuerdo con un estudio presentado hace días, menos de la mitad de 100 estudios publicados en 2008 en tres de los más renombrados diarios de psicología pueden ser replicados de manera exitosa. Este se trató de un esfuerzo internacional en el que trabajaron 270 científicos, quienes llevaron a cabo estos “remakes” como parte del Proyecto de Reproducibilidad: Psicología, encabezado por Brian Nosek de la University of Virginia, publicó la revista Science.

El hallazgo no significa que los resultados originales de dichos trabajos sean incorrectos o que el proceso científico sea defectuosos en estos casos. de hecho, cuando un estudio encuentra algo que un segundo estudio no puede replicar, existen muchas razones que pueden explicarlo, dice Cody Christopherson, de la Universidad del sur de Oregon, quien además es coautor de la investigación. Así, puede haber varias opciones, ya sea que los resultados del primer estudio o del segundo sean falsos o, bien, que existan diferencias sutiles en la manera en la que los dos estudios fueron llevados, que pudieran haber impactado en los resultados.

“Este proyecto no es la evidencia de que algo está roto. Más bien, es un ejemplo de la ciencia hace lo que hace la ciencia”, dice Christopherson. “Es imposible estar equivocado en un sentido final en la ciencia. Tienes que estar temporalmente equivocado, tal vez muchas veces, antes de que esté siempre bien.”

Foto: Shutterstock
El hallazgo no significa que los resultados originales de dichos trabajos sea incorrecto o que el proceso científico sea defectuosos. Foto: Shutterstock

A través de las ciencias, la investigación se considera reproducible cuando un equipo independiente puede llevar a cabo un experimento publicado, siguiendo los métodos originales en la mayor medida posible, y obtener los mismos resultados. Es una parte clave del proceso para la creación de pruebas para apoyar las teorías. Incluso hoy en día, 100 años después de que Albert Einstein presentara su teoría general de la relatividad, los científicos repiten regularmente pruebas de sus predicciones y buscar casos en que su famosa descripción de la gravedad no aplique.

“La evidencia científica no se basa en confiar en la autoridad de la persona que hizo el descubrimiento”, dijo en un comunicado Angela Attwood, profesora de psicología en la Universidad de Bristol y miembro del equipo. “Por el contrario, la credibilidad se acumula a través de la replicación independiente y la elaboración de ideas y evidencia.”

El Proyecto de Reproducibilidad, es un esfuerzo de financiación en masa basado en la comunidad científica que inició en 2011 para probar qué tan bien la medida de credibilidad se aplica a la investigación reciente en psicología. Los científicos, algunos reclutados y algunos voluntarios, revisaron un conjunto de estudios y seleccionaron uno que hiciera juego con su propio interés y experiencia, para llevar a cabo la replicación. Así mismo, sus datos y los resultados fueron compartidos en línea y revisados y analizados por otros científicos participantes.

Para ayudar a mejorar la futura investigación, el análisis del proyecto trató de determinar a qué tipo de estudios les fue mejor y por qué. Los científicos encontraron que los resultados más sorprendentes fueron los más difíciles de reproducir y que la experiencia o los conocimientos de los científicos que llevaron a cabo los experimentos originales tenían poco que ver con la replicación exitosa.

De acuerdo con el estudio, revisitar las investigaciones puede fortalecer el proceso científico. Foto: Shutterstock
De acuerdo con el estudio, revisitar las investigaciones puede fortalecer el proceso científico. Foto: Shutterstock

Los hallazgos, por su parte, también ofrecen cierto apoyo a la frecuentemente criticada herramienta estadística conocida como valor P, que mide si un resultado es significativo o debido a la casualidad. Un valor más alto significa que un resultado tiene más probabilidades de ser una casualidad, mientras que un valor más bajo significa que el resultado es estadísticamente significativo.

El análisis del proyecto demostró que un valor P bajo predecía con bastante seguridad cuáles estudios de psicología podrían ser replicados. Así, 20 de los 32 estudios originales con un valor de P menor a 0.001 podría repetirse, mientras que sólo dos de los 11 artículos con un valor superior a 0.04 se replicaron con éxito.

Sin embargo, Christopherson sospecha que la mayoría de sus coautores no buscaban que este estudio fuera interpretado como un intento por respaldar los valores P, porque reconocen las limitaciones de la herramienta.

No obstante, las características que quedaron al descubierto en este estudio ponen en evidencia que no está claro si la psicología sea un campo particularmente difícil para la reproduciblidad. Mientras tanto, un estudio similar se está llevando a cabo en el campo de investigación biológica relacionada con el cáncer y Cristopherson espera que el esfuerzo masivo estimule más esas dobles comprobaciones y revisitaciones de investigaciones anteriores para ayudar al proceso científico.

en Sinembargo al Aire

Opinión

Opinión en video