Une expérience menée dans le cadre du mégaprojet SCORE, financé par la DARPA, a confié les mêmes données à 457 analystes pour réexaminer 100 études publiées, révélant que seuls 34 % d'entre eux ont reproduit précisément le résultat statistique original.
Le mégaprojet SCORE vise à évaluer la crédibilité des sciences sociales et comportementales. Dans une expérience présentée ce mercredi dans la revue Nature, des jeux de données et des questions de recherche identiques ont été fournis à des chercheurs indépendants. Les résultats soulignent une "variabilité analytique" découlant de choix méthodologiques tels que le nettoyage des données ou le choix des modèles statistiques. Parmi les 504 réanalyses, 74 % ont abouti à la même conclusion générale que les études originales, 24 % étaient non concluantes et 2 % aboutissaient à des résultats opposés. "Chaque analyse implique des décisions méthodologiques qui peuvent influencer les résultats", a déclaré Guiomar Niso, du Centre de neurosciences Cajal (CNC-CSIC). Le chercheur principal, Balázs Aczél, a souligné que ces résultats ne remettaient pas en cause les recherches antérieures, mais qu'ils mettaient en lumière la nécessité de reconnaître l'incertitude empirique. Le projet SCORE a également examiné la reproductibilité et la réplicabilité. Seuls 24 % des articles ont partagé leurs données publiquement ; lorsqu'elles étaient disponibles, 74 % ont été reproduites approximativement et 54 % précisément. Dans les réplications utilisant de nouvelles données, seules 49 % ont réussi, avec des tailles d'effet plus faibles. "La recherche est difficile, et le travail acharné commence après une découverte", a résumé Tim Errington du Center for Open Science (COS). Les auteurs préconisent une plus grande transparence pour renforcer la confiance dans la science.
