Un experimento del megaproyecto SCORE, financiado por DARPA, entregó los mismos datos a 457 analistas para reanalizar 100 estudios publicados, mostrando que solo el 34% reprodujo el resultado estadístico original con precisión.
El megaproyecto SCORE busca medir la credibilidad de las ciencias sociales y del comportamiento. En uno de sus experimentos, presentados este miércoles en la revista Nature, se proporcionaron idénticos conjuntos de datos y preguntas de investigación a investigadores independientes. Los resultados destacan la “variabilidad analítica”, causada por decisiones metodológicas como el procesamiento de datos o la elección de modelos estadísticos.
De los 504 reanálisis realizados, el 74% llegó a la misma conclusión general que los estudios originales, el 24% fue inconcluyente y el 2% opuesto. “Cada análisis implica decisiones metodológicas que pueden influir en los resultados”, explicó Guiomar Niso, investigadora del Centro de Neurociencias Cajal (CNC-CSIC). Balázs Aczél, investigador principal, enfatizó que estos hallazgos no cuestionan estudios previos, sino que resaltan la necesidad de reconocer la incertidumbre empírica.
SCORE también evaluó la reproducibilidad y replicabilidad. Solo el 24% de los artículos compartía datos públicamente; cuando disponibles, el 74% se reprodujo aproximadamente y el 54% con precisión. En replicaciones con nuevos datos, solo el 49% tuvo éxito, con efectos de menor magnitud.
“Investigar es difícil y el trabajo duro comienza después de un descubrimiento”, resumió Tim Errington, del Centro para la Ciencia Abierta (COS). Los autores llaman a mayor transparencia para fortalecer la confianza en la ciencia.
