Après que le PDG d'Anthropic, Dario Amodei, a déclaré fin février que l'entreprise ne permettrait pas que son modèle Claude soit utilisé pour la surveillance domestique de masse ou pour des armes entièrement autonomes, de hauts responsables du Pentagone ont déclaré qu'ils n'avaient pas l'intention d'utiliser l'IA pour la surveillance domestique et ont insisté sur le fait que les entreprises privées ne peuvent pas fixer de limites contraignantes sur la manière dont l'armée américaine utilise les outils d'IA.
En juillet dernier, Doug Matty, responsable du numérique et de l'intelligence artificielle au Pentagone, a annoncé l'attribution de contrats d'une valeur maximale de 200 millions de dollars chacun à quatre entreprises technologiques - Anthropic, Google, OpenAI et xAI - afin de fournir des modèles d'IA avancés pour les missions du ministère de la défense. M. Matty a déclaré que le ministère avait l'intention d'accélérer l'adoption de l'IA commerciale pour les "tâches essentielles à la mission interarmées" dans le "domaine de la lutte contre la guerre", mais le Pentagone a donné peu de détails opérationnels, invoquant la sécurité nationale.
Les prix relativement opaques ont attiré une nouvelle attention à la fin du mois de février, lorsque Anthropic a déclaré qu'elle insistait sur les limites imposées à Claude dans un "ensemble étroit de cas". Dans une déclaration faite le 26 février, M. Amodei s'est dit tout à fait favorable à l'utilisation de l'IA pour aider à défendre les États-Unis et d'autres démocraties, mais a fait valoir que certaines applications pourraient porter atteinte aux valeurs démocratiques, notamment la "surveillance domestique de masse" et les "armes entièrement autonomes", qu'il a décrites comme étant des drones de combat autoguidés.
De hauts fonctionnaires du ministère de la défense ont réagi en réfutant à la fois le principe et l'influence de l'entreprise. Selon un rapport cité par The Nation, les responsables du Pentagone ont déclaré qu'ils n'avaient pas l'intention d'utiliser l'IA pour la surveillance intérieure et que les systèmes d'armes sans pilote resteraient sous la surveillance de l'homme. Mais ils ont également fait valoir que les contractants ne devraient pas être en mesure d'imposer leurs propres conditions en matière de libertés civiles aux opérations du Pentagone. Emil Michael, sous-secrétaire d'État à la défense chargé de la recherche et de l'ingénierie, aurait ainsi déclaré : "Nous n'aurons pas de grandes entreprises dans le domaine des technologies de l'information et de la communication : "Nous ne laisserons aucune entreprise de BigTech décider des libertés civiles des Américains.
The Nation rapporte que, lors des négociations, Michael a également soulevé une question distincte, à savoir si Anthropic s'opposerait à l'utilisation de Claude dans des missions liées au nucléaire, telles que la défense antimissile, et qu'Amodei n'a pas émis d'objection à cette utilisation.
Le différend a mis en lumière une tension plus large entre la volonté du Pentagone d'intégrer l'IA générative dans le renseignement, le ciblage et le développement d'armes, et les garde-fous dont les entreprises d'IA disent avoir besoin pour éviter les abus. The Nation a évoqué les efforts déployés de longue date par le ministère de la défense, tels que le projet Maven, qui a commencé par utiliser l'IA pour analyser les vidéos de drones à la recherche de cibles potentielles, et l'initiative Collaborative Operations in Denied Environment (CODE) de la DARPA, qui a travaillé sur l'autonomie de groupes de drones opérant selon des règles préétablies.
La politique officielle du Pentagone en matière d'autonomie est décrite dans la directive 3000.09 du ministère de la défense, qui stipule que les armes autonomes et semi-autonomes doivent être conçues de manière à ce que les commandants et les opérateurs puissent exercer "des niveaux appropriés de jugement humain sur l'utilisation de la force". Les critiques ont fait valoir que la flexibilité de la politique laisse encore de la place à l'autonomie qui pourrait réduire de manière significative le contrôle humain en temps réel.
Alors que l'IA s'intègre de plus en plus dans la planification et les opérations militaires, l'impasse entre Anthropic et le Pentagone met en évidence une question non résolue au cœur de l'expansion de l'IA dans l'armée américaine : comment concilier l'adoption rapide de systèmes commerciaux avec les demandes de limites applicables à la surveillance nationale et à la délégation de la force létale aux machines ?
