Résumé : Dans une évolution significative du paysage de l'IA, Anthropic a annoncé un partenariat stratégique avec Palantir et Amazon Web Services pour intégrer ses modèles Claude AI aux agences de défense et de renseignement américaines. Cette collaboration, qui permettra de traiter des données classifiées "secret" via l'environnement Impact Level 6 de Palantir, suscite une controverse importante dans le secteur technologique. En effet, alors qu'Anthropic s'est toujours présenté comme un développeur d'IA éthique et responsable, ce rapprochement avec le secteur de la défense, notamment à travers Palantir (connu pour ses projets militaires controversés), soulève des questions sur la cohérence de son positionnement. Les critiques, dont l'ancienne responsable de l'éthique IA chez Google Timnit Gebru, s'inquiètent particulièrement des implications de cette alliance, notamment concernant les risques liés aux limitations inhérentes des modèles de langage dans le traitement de données sensibles de défense nationale.
Anthropic a annoncé un partenariat avec Palantir et Amazon Web Services pour mettre ses modèles d'IA Claude à la disposition d'agences de renseignement et de défense américaines dont le nom n'a pas été précisé. Claude, une famille de modèles de langage IA similaires à ceux qui alimentent ChatGPT, fonctionnera au sein de la plateforme de Palantir en utilisant l'hébergement AWS pour traiter et analyser des données. Mais certains détracteurs ont qualifié l'accord de contradictoire avec les objectifs de "sécurité de l'IA" d'Anthropic, abondamment médiatisés.
Sur X, Timnit Gebru, ancien co-responsable de l'éthique de l'IA chez Google, a écrit à propos du nouvel accord entre Anthropic et Palantir : « Regardez comment ils se soucient tant des “risques existentiels pour l'humanité” ».
Le partenariat rend Claude disponible dans l'environnement Impact Level 6 (IL6) de Palantir, un système accrédité par la défense qui traite des données critiques pour la sécurité nationale jusqu'au niveau de classification « secret ». Cette initiative s'inscrit dans une tendance plus large des entreprises d'IA à rechercher des contrats de défense, Meta proposant ses modèles Llama à des partenaires de la défense et OpenAI cherchant à resserrer ses liens avec le ministère de la défense.
Dans un communiqué de presse, les entreprises ont décrit trois tâches principales pour Claude dans le domaine de la défense et du renseignement : effectuer des tâches sur de grands volumes de données complexes à grande vitesse, identifier des modèles et des tendances dans ces données, et faciliter l'examen et la préparation des documents.
Bien que l'annonce du partenariat laisse entrevoir un vaste potentiel pour l'analyse du renseignement par l'IA, il est précisé que des fonctionnaires humains conserveront leur pouvoir de décision dans le cadre de ces opérations. Pour illustrer les capacités de la technologie, Palantir a indiqué qu'une compagnie d'assurance américaine (dont le nom n'a pas été dévoilé) a utilisé 78 agents d'IA alimentés par sa plateforme et Claude pour réduire un délai de souscription de deux semaines à trois heures.
Cette nouvelle collaboration s'appuie sur l'intégration antérieure par Anthropic de Claude dans AWS GovCloud, un service conçu pour l'informatique en nuage des gouvernements. Anthropic, qui a récemment démarré ses activités en Europe, a cherché à obtenir des fonds pour une valorisation pouvant atteindre 40 milliards de dollars. L'entreprise a levé 7,6 milliards de dollars, Amazon étant son principal investisseur.
Un champ de mines éthique
Depuis que ses fondateurs ont créé Anthropic en 2021, l'entreprise se présente comme une société qui adopte une approche du développement de l'IA axée sur l'éthique et la sécurité. L'entreprise se différencie de concurrents comme OpenAI en adoptant ce qu'elle appelle des pratiques de développement responsables et des contraintes éthiques auto-imposées sur ses modèles, comme son système d'« IA constitutionnelle ».
Comme le souligne Futurism, ce nouveau partenariat de défense paraît en contradiction avec l'image publique de "gentil" affichée par Anthropic, et les experts pro-IA le notent sur les réseaux sociaux. Nabeel S. Qureshi, spécialiste de l'IA, a écrit sur X : "Imaginez qu'en 2021, les fondateurs d'Anthropic, altruistes efficaces et soucieux de la sécurité, signent des partenariats pour déployer leur modèle ~AGI directement sur les lignes de front militaires, trois ans seulement après la création de l'entreprise.
Outre les implications de la collaboration avec les agences de la défense et du renseignement, l'accord relie Anthropic à Palantir, une entreprise controversée qui a récemment remporté un contrat de 480 millions de dollars pour développer un système d'identification de cibles par IA appelé Maven Smart System pour l'armée américaine. Le projet Maven a suscité des critiques au sein du monde de la technologie concernant les applications militaires de l'intelligence artificielle.
Il est intéressant de noter que les conditions d'utilisation d'Anthropic définissent des règles et des limites spécifiques concernant son utilisation par les gouvernements. Ces conditions autorisent des activités telles que l'analyse de renseignements étrangers et l'identification de campagnes d'influence secrètes, mais interdisent des utilisations telles que la désinformation, le développement d'armes, la censure et la surveillance intérieure. Les agences gouvernementales qui communiquent régulièrement avec Anthropic sur leur utilisation de Claude peuvent recevoir des autorisations plus larges pour utiliser les modèles d'IA.
Même si Claude n'est jamais utilisé pour cibler un être humain ou comme élément dans un système d'armement, d'autres problèmes subsistent. Bien que les modèles de Claude soient très appréciés dans la communauté de l'IA, ils ont tendance (comme tous les LLM) à produire des erreurs difficiles à détecter.
Il s'agit d'un problème potentiel majeur qui pourrait avoir un impact sur l'efficacité de Claude avec des données gouvernementales secrètes, et cette constatation, ainsi que d'autres associations, inquiètent Victor Tangermann de Futurism. Il s'agit d'un partenariat déconcertant qui établit les liens croissants entre l'industrie de l'IA et le complexe militaro-industriel américain, une tendance inquiétante qui devrait tirer toutes sortes de sonnettes d'alarme étant donné les nombreux défauts inhérents à cette technologie - et encore plus lorsque des vies pourraient être en jeu."
source :
https://arstechnica.com/ai/2024/11/safe-ai-champ-anthropic-teams-up-with-defense-giant-palantir-in-new-deal/