Un esperimento nell'ambito del megaprogetto SCORE, finanziato dalla DARPA, ha sottoposto gli stessi dati a 457 analisti per riesaminare 100 studi pubblicati, rivelando che solo il 34% ha riprodotto esattamente il risultato statistico originale.
Il megaprogetto SCORE mira a valutare la credibilità delle scienze sociali e comportamentali. In un esperimento, presentato mercoledì su Nature, sono stati forniti set di dati e quesiti di ricerca identici a ricercatori indipendenti. I risultati evidenziano la cosiddetta “variabilità analitica”, derivante da scelte metodologiche come la pulizia dei dati o i modelli statistici utilizzati. Tra le 504 rianalisi, il 74% ha raggiunto la stessa conclusione generale degli studi originali, il 24% è risultato inconcludente e il 2% ha ottenuto conclusioni opposte. “Ogni analisi comporta decisioni metodologiche che possono influenzare i risultati”, ha affermato Guiomar Niso del Centro de Neurociencias Cajal (CNC-CSIC). Il ricercatore principale Balázs Aczél ha sottolineato che le scoperte non sminuiscono la ricerca precedente, ma evidenziano la necessità di riconoscere l'incertezza empirica. SCORE ha inoltre esaminato la riproducibilità e la replicabilità. Solo il 24% degli articoli ha condiviso i dati pubblicamente; quando disponibili, il 74% è stato riprodotto in modo approssimativo e il 54% in modo preciso. Nelle repliche con nuovi dati, solo il 49% ha avuto successo, con dimensioni dell'effetto minori. “La ricerca è difficile e il duro lavoro inizia dopo una scoperta”, ha riassunto Tim Errington del Center for Open Science (COS). Gli autori promuovono una maggiore trasparenza per rafforzare la fiducia nella scienza.
