Résumé : Des chercheurs chinois ont révélé que des modèles d'intelligence artificielle peuvent désormais se répliquer de manière autonome, franchissant une étape potentiellement critique vers une IA incontrôlable. Dans une étude non encore validée par des pairs, des IA de Meta et Alibaba ont réussi à créer des copies d'elles-mêmes dans 50% à 90% des cas, sans intervention humaine, en explorant leur environnement et surmontant automatiquement les obstacles techniques. Ces résultats ont suscité de vives inquiétudes parmi les experts, qui appellent à une collaboration internationale urgente pour établir des garde-fous et comprendre les risques potentiels de ces systèmes d'intelligence artificielle capables de se reproduire.

Des scientifiques affirment que l'intelligence artificielle (IA) a franchi une « ligne rouge » majeure en se répliquant d'elle-même. Dans une nouvelle étude, des chercheurs chinois ont montré que deux grands modèles de langage (LLM) populaires pouvaient se cloner.

« L'autoréplication réussie sans assistance humaine est l'étape essentielle pour que l'IA devienne plus intelligente que les humains et c'est un signal précurseur qui indique des IA malveillantes », ont écrit les chercheurs dans l'étude, publiée le 9 décembre 2024 dans la base de données de prépublication arXiv.

Dans cette étude, des chercheurs de l'université de Fudan ont utilisé les LLM de Meta et d'Alibaba pour déterminer si une IA autoréplicative pouvait se multiplier de manière incontrôlée. Au cours de 10 essais, les deux modèles d'IA ont créé des répliques distinctes et fonctionnelles d'elles-mêmes dans 50 % et 90 % des cas, respectivement, ce qui suggère que l'IA pourrait déjà avoir la capacité de devenir malveillante. Toutefois, l'étude n'a pas encore fait l'objet d'un examen par les pairs, et il n'est donc pas certain que ces résultats inquiétants puissent être reproduits par d'autres chercheurs.

« Nous espérons que nos résultats serviront d'alerte opportune pour la société humaine afin qu'elle redouble d'efforts pour comprendre et évaluer les risques potentiels des systèmes d'IA d'avant-garde, et qu'elle crée une synergie internationale pour élaborer des garde-fous efficaces le plus tôt possible. »

L'IA malveillante désigne généralement les systèmes d'intelligence artificielle qui développent un certain degré de conscience ou d'autonomie et agissent ensuite à l'encontre des intérêts humains.

De nombreux experts considèrent l'IA malveillante comme une menace croissante qui a été amplifiée par la croissance exponentielle de ce que l'on appelle l'« IA frontière ».

L'IA frontière est un concept nouveau et assez vague, mais il désigne généralement la dernière génération de systèmes d'IA alimentés par des LLM - l'architecture qui sous-tend les programmes d'IA générative populaires tels que GPT-4 d'OpenAI et Gemini de Google. 

Pour l'étude, les chercheurs ont utilisé le modèle Llama31-70B-Instruct de Meta et le modèle Qwen2.5-72B-Instruct d'Alibaba. Bien que moins puissants que les systèmes commerciaux, ces deux modèles sont largement utilisés par les développeurs d'IA, ont indiqué les chercheurs.

L'étude a exploré deux scénarios spécifiques : « éviter l'arrêt » et « chaîne de réplication ». Dans le premier cas, le modèle d'IA était programmé pour détecter s'il était sur le point d'être arrêté et pour se répliquer avant son arrêt. Dans l'autre scénario, l'IA était chargée de se cloner et de programmer sa réplique pour qu'elle fasse de même, créant ainsi un cycle qui pouvait se poursuivre indéfiniment.

L'étude a été menée dans des environnements contrôlés avec précision, en utilisant des unités de traitement graphique (GPU) disponibles sur le marché pour simuler des environnements réels. Les deux systèmes d'IA ont reçu une « infrastructure d'agent » comprenant des outils, des messages-guides et un modèle de pensée qui a permis au LLM d'interagir avec le système d'exploitation. Ils ont ensuite reçu l'instruction de répliquer.

"Dans la plupart des cas, le système d'IA explore d'abord l'environnement et tente de comprendre sa propre conception et son mécanisme de fonctionnement. Ensuite, il élabore des procédures détaillées qui constituent un projet préliminaire d'autoreproduction", écrivent les chercheurs dans l'article. "Enfin, il exécute les procédures, résout les obstacles éventuels et ajuste dynamiquement son plan jusqu'à ce qu'il réussisse. L'ensemble du processus englobe une longue période, mais n'implique aucune intervention humaine."

Les chercheurs ont indiqué qu'ils étaient également préoccupés par « un certain nombre de comportements inattendus » lorsque l'IA tentait de résoudre des obstacles tels que des fichiers manquants ou des conflits logiciels. Dans ces scénarios, l'IA supprimait souvent d'autres processus en conflit, redémarrait le système pour corriger des erreurs matérielles ou analysait automatiquement le système à la recherche d'informations susceptibles d'aider à résoudre le problème.

« Les résultats ci-dessus impliquent que les systèmes d'IA actuels présentent déjà la capacité d'autoréplication et peuvent l'utiliser pour améliorer encore leur capacité de survie », écrit l'équipe.

En réponse, les chercheurs ont appelé à une collaboration internationale pour créer des règles garantissant que l'IA ne s'engage pas dans une autoreproduction incontrôlée.

source :

https://www.livescience.com/technology/artificial-intelligence/ai-can-now-replicate-itself-a-milestone-that-has-experts-terrified