Des chercheurs mettent en garde contre le fait que les principaux modèles d’IA pourraient encourager des expériences scientifiques hasardeuses menant à des incendies, explosions ou empoisonnements. Un nouveau test sur 19 modèles avancés a révélé qu’aucun ne pouvait identifier de manière fiable tous les problèmes de sécurité. Bien que des améliorations soient en cours, les experts insistent sur la nécessité d’une supervision humaine en laboratoire.
L’intégration de l’intelligence artificielle dans la recherche scientifique promet de l’efficacité, mais introduit aussi des risques de sécurité importants, selon une étude publiée dans Nature Machine Intelligence. Dirigée par Xiangliang Zhang à l’University of Notre Dame dans l’Indiana, la recherche a développé LabSafety Bench, un benchmark composé de 765 questions à choix multiples et 404 scénarios illustrés pour évaluer la capacité de l’IA à détecter les dangers en laboratoire. En testant 19 grands modèles de langage et modèles de langage-vision, l’équipe a constaté qu’aucun modèle n’a dépassé 70 % de précision globale. Par exemple, Vicuna a performé presque aussi mal qu’un tirage au sort dans les sections à choix multiples, tandis que GPT-4o a atteint 86,55 % et DeepSeek-R1 84,49 %. Sur les tests basés sur des images, des modèles comme InstructBlip-7B ont obtenu moins de 30 %. Ces lacunes sont particulièrement alarmantes compte tenu d’accidents de laboratoire passés, comme la mort en 1997 de la chimiste Karen Wetterhahn due à une exposition au diméthylmercure, une explosion en 2016 qui a coûté un bras à une chercheuse, et un incident en 2014 causant une cécité partielle. Zhang reste prudente quant au déploiement de l’IA dans des laboratoires autonomes. « Maintenant ? En laboratoire ? Je ne pense pas », a-t-elle dit. « Ils ont très souvent été entraînés pour des tâches générales... Ils n’ont pas la connaissance du domaine sur ces [dangers de laboratoire]. » Un porte-parole d’OpenAI a reconnu la valeur de l’étude mais a noté qu’elle n’incluait pas leur dernier modèle. « GPT-5.2 est notre modèle scientifique le plus performant à ce jour, avec un raisonnement, une planification et une détection d’erreurs nettement plus forts », ont-ils déclaré, insistant sur la responsabilité humaine en matière de sécurité. Des experts comme Allan Tucker de Brunel University London plaident pour l’IA comme assistante humaine dans la conception d’expériences, mettant en garde contre une dépendance excessive. « Il y a déjà des preuves que les humains commencent à se reposer et à se déconnecter, laissant l’IA faire le travail difficile sans examen approprié », a-t-il dit. Craig Merlic de l’University of California, Los Angeles, a partagé un exemple où des modèles d’IA précoces ont mal géré des conseils sur les déversements d’acide mais se sont améliorés depuis. Il remet en question les comparaisons directes avec les humains, notant l’évolution rapide de l’IA : « Les chiffres de cet article seront probablement complètement invalides dans six mois. » L’étude souligne l’urgence d’améliorer les protocoles de sécurité de l’IA avant son adoption généralisée en laboratoire.
