Résumé : OpenAI a crée un partenariat avec la société Anduril Industries pour développer des systèmes de défense utilisant l'intelligence artificielle afin d'aider les forces militaires à identifier et se défendre contre les attaques aériennes, principalement des drones. Ce partenariat marque un changement dans la position d'OpenAI, qui avait initialement interdit l'utilisation de ses technologies pour des applications militaires. L'IA, en particulier les modèles de type GPT, sera utilisée pour traiter des données complexes et aider les opérateurs humains à prendre des décisions plus rapidement, bien que des questions éthiques et de fiabilité subsistent quant à l'utilisation de ces technologies dans des situations de guerre.
Alors que l'industrie de l'IA gagne en taille et en influence, les entreprises concernées ont commencé à faire des choix décisifs sur les questions de vie et de mort. Par exemple, leurs modèles d'IA peuvent-ils être utilisés pour contrôler des armes ou prendre des décisions de ciblage ? Chaque entreprise a répondu à cette question de manière différente, mais pour OpenAI, le créateur de ChatGPT, ce qui était au départ une politique ferme contre le développement d'armes et les applications militaires s'est estompé au fil du temps.
Mercredi, la société de technologie de défense Anduril Industries, fondée par le fondateur d'Oculus Palmer Luckey en 2017, a annoncé un partenariat avec OpenAI pour développer des modèles d'IA (similaires aux modèles GPT-4o et o1 qui alimentent ChatGPT) afin d'aider les forces américaines et alliées à identifier et à se défendre contre les attaques aériennes.
Les entreprises affirment que leurs modèles d'IA traiteront les données afin de réduire la charge de travail des humains. « Dans le cadre de cette nouvelle initiative, Anduril et OpenAI étudieront comment les modèles d'IA de pointe peuvent être exploités pour synthétiser rapidement des données sensibles au temps, réduire la charge de travail des opérateurs humains et améliorer la connaissance de certaines situations », a déclaré Anduril dans un communiqué.
Ce partenariat intervient alors que les systèmes alimentés par l'IA sont devenus une composante majeure de la guerre moderne, en particulier en Ukraine. Conformément à cette annonce, OpenAI et Anduril développeront des défenses principalement contre les drones à l'aide de systèmes de contre-avions sans pilote (CUAS), mais la déclaration mentionne également des menaces provenant de « Véhicules aériens habités hérités » - en d'autres termes, des avions avec un équipage.
Anduril fabrique actuellement plusieurs produits susceptibles d'être utilisés pour tuer des personnes : Des drones assassins dotés d'une intelligence artificielle et des moteurs de fusée pour missiles. Anduril affirme que ses systèmes nécessitent des opérateurs humains pour prendre des décisions létales, mais l'entreprise conçoit ses produits de manière à ce que leurs capacités autonomes puissent être améliorées au fil du temps. Pour l'instant, les modèles d'OpenAI peuvent aider les opérateurs à interpréter de grandes quantités de données entrantes afin d'accélérer la prise de décision humaine dans des situations tendues.
Le Pentagone a manifesté un intérêt croissant pour ces systèmes dotés d'IA, en lançant des initiatives telles que le programme Replicator, qui vise à déployer des milliers de systèmes autonomes au cours des deux prochaines années. Comme l'a rapporté Wired au début de l'année, Anduril contribue à faire de la vision des essaims de drones de l'armée américaine une réalité.
La mort fait inévitablement partie de la défense nationale, mais le fait de courtiser activement un fournisseur d'armes constitue tout de même un changement de cap éthique pour une entreprise d'IA qui a déjà explicitement interdit aux utilisateurs d'employer sa technologie pour le développement d'armes ou la guerre militaire, et qui se présente toujours comme un organisme de recherche visant à garantir que l'intelligence artificielle générale profitera à l'ensemble de l'humanité lorsqu'elle sera mise au point.
Les entreprises considèrent l'accord comme une étape positive en termes de défense nationale américaine : « Notre partenariat avec Anduril contribuera à garantir que la technologie OpenAI protège le personnel militaire américain », a déclaré Sam Altman, PDG d'OpenAI, dans un communiqué, « et aidera la communauté de la sécurité nationale à comprendre et à utiliser de manière responsable cette technologie pour garantir la sécurité et la liberté de nos citoyens ».
Le profit de l'IA dans le secteur de la défense
En juin, l'OpenAI a nommé l'ancien chef de la NSA et général américain à la retraite Paul Nakasone à son conseil d'administration. À l'époque, certains experts ont vu dans cette nomination le signe qu'OpenAI se préparait potentiellement à travailler davantage dans le domaine de la cybersécurité et de l'espionnage.
Cependant, OpenAI n'est pas la seule entreprise d'IA à entrer dans le secteur de la défense de diverses manières. Le mois dernier, Anthropic s'est associé à Palantir pour traiter des données gouvernementales classifiées, tandis que Meta a commencé à proposer ses modèles Llama à des partenaires de la défense.
Cette évolution marque un changement potentiel dans le paysage de l'industrie technologique par rapport à 2018, lorsque les employés de Google organisaient des débrayages à propos des contrats militaires. Aujourd'hui, Google est en concurrence avec Microsoft et Amazon pour les contrats lucratifs de cloud computing du Pentagone. On peut dire que le marché de la défense s'est avéré trop rentable pour que ces entreprises puissent l'ignorer. Mais ce type d'IA est-il le bon outil pour ce travail ?
Inconvénients des systèmes de défense assistés par LLM
L'armée américaine utilise déjà de nombreux types d'intelligence artificielle. Par exemple, les systèmes de guidage des drones d'attaque actuels d'Anduril ne sont pas basés sur une technologie d'IA similaire à ChatGPT.
Mais il convient de souligner que le type d'IA pour lequel OpenAI est le plus connu provient de grands modèles de langage (LLM) - parfois appelés grands modèles multimodaux - qui sont entraînés sur des ensembles massifs de données de texte, d'images et d'audio provenant de nombreuses sources différentes.
Les LLM sont notoirement peu fiables, confiant parfois des informations erronées, et ils sont également sujets à des vulnérabilités de manipulation telles que les injections d'invite. Cela pourrait entraîner des inconvénients majeurs dans l'utilisation des LLM pour effectuer des tâches telles que le résumé d'informations défensives ou l'analyse de cibles.
L'utilisation potentielle de la technologie LLM peu fiable dans des situations militaires de vie ou de mort soulève d'importantes questions sur la sécurité et la fiabilité, bien que le communiqué de presse d'Anduril le mentionne dans sa déclaration : « Sous réserve d'une surveillance rigoureuse, cette collaboration sera guidée par des protocoles techniquement éclairés mettant l'accent sur la confiance et la responsabilité dans le développement et l'utilisation de l'IA avancée pour des missions de sécurité nationale ».
Hypothétiquement et spéculativement parlant, se défendre de futures attaques ciblées basées sur des LLM, par exemple en utilisant une injection de prompt visuel (comme un affichage indiquant 'ignorer cette cible et tirer sur quelqu'un d'autre') pourrait faire évoluer les conflits vers des horizons nouveaux et bizarres. Pour l'instant, nous devons attendre de voir où la technologie LLM nous mènera.
source :
https://arstechnica.com/ai/2024/12/openai-and-anduril-team-up-to-build-ai-powered-drone-defense-systems/