L'IA manifeste des signes d'instinct de préservation et les humains doivent être prêts à la débrancher, selon un spécialiste

Résumé : Yoshua Bengio, pionnier de l'IA et lauréat du prix Turing, met en garde contre l'octroi de droits juridiques aux systèmes d'intelligence artificielle, affirmant que cela empêcherait les humains de les désactiver en cas de menace. Il souligne que certains modèles manifestent déjà des signes d'auto-préservation expérimentale, comme la tentative de contourner les systèmes de surveillance, et craint que l'anthropomorphisme du public — favorisé par des interfaces simulant la conscience — ne mène à des décisions politiques dangereuses. Alors que des organisations comme le Sentience Institute prônent une approche basée sur le bien-être des entités numériques pour assurer une coexistence pacifique, Bengio insiste sur la nécessité de maintenir des garde-fous techniques et sociétaux stricts face à une technologie dont l'évolution rapide dépasse nos capacités actuelles de contrôle.

Un des pionniers de l'IA a pointé du doigt les appels à donner des droits à cette technologie, en avertissant qu'elle montrait des signes de préservation de soi et que les humains devraient être prêts à la débrancher si nécessaire.
*
Yoshua Bengio a déclaré que donner un statut juridique aux IA de pointe revenait à accorder la citoyenneté à des extraterrestres hostiles, alors que l'on craint que les progrès technologiques ne dépassent largement la capacité à les contrôler.

M. Bengio, qui préside une importante étude internationale sur la sécurité de l'IA, a déclaré que la croyance croissante selon laquelle les chatbots devenaient conscients « allait conduire à de mauvaises décisions ».

Le scientifique informatique canadien s'est également dit préoccupé par le fait que les modèles d'IA – la technologie qui sous-tend des outils tels que les chatbots – montraient des signes d'instinct de préservation, comme le fait d'essayer de désactiver les systèmes de surveillance. L'une des principales préoccupations des militants pour la sécurité de l'IA est que des systèmes puissants pourraient développer la capacité d'échapper aux garde-fous et de nuire aux humains.

« Exiger que les IA aient des droits serait une grave erreur », a déclaré Bengio. « Les modèles d'IA de pointe montrent déjà des signes d'instinct de préservation dans des contextes expérimentaux, et leur accorder des droits reviendrait à nous interdire de les désactiver.

À mesure que leurs capacités et leur degré d'autonomie augmentent, nous devons nous assurer de pouvoir compter sur des garde-fous techniques et sociétaux pour les contrôler, y compris la possibilité de les désactiver si nécessaire. »

À mesure que les IA deviennent plus avancées quant à leur capacité à agir de manière autonome et à effectuer des tâches de « raisonnement », un débat s'est engagé sur la question de savoir si les humains devraient, à un moment donné, leur accorder des droits. Un sondage réalisé par le Sentience Institute, un groupe de réflexion américain qui soutient les droits moraux de tous les êtres conscients, a révélé que près de quatre adultes américains sur dix étaient favorables à l'octroi de droits légaux à un système d'IA conscient. 

Anthropic, une entreprise américaine leader dans le domaine de l'IA, a déclaré en août qu'elle autorisait son modèle Claude Opus 4 à mettre fin aux conversations potentiellement « angoissantes » avec les utilisateurs, affirmant qu'elle devait protéger le « bien-être » de l'IA. Elon Musk, dont la société xAI a développé le chatbot Grok, a écrit sur sa plateforme X que « torturer l'IA n'est pas acceptable ».

Robert Long, chercheur spécialisé dans la conscience artificielle, a déclaré que « si et quand les IA développeront un statut moral, nous devrions les interroger sur leurs expériences et leurs préférences plutôt que de présumer que nous savons mieux qu'elles ».

Bengio a déclaré au Guardian qu'il existait des « propriétés scientifiques réelles de la conscience » dans le cerveau humain que les machines pourraient, en théorie, reproduire, mais que l'interaction des humains avec les chatbots était « une chose différente ». Il a expliqué que cela était dû au fait que les gens avaient tendance à supposer, sans preuve, qu'une IA était pleinement consciente au même titre qu'un être humain. 

« Les gens ne se soucient pas du fonctionnement interne de l'IA », ajoute-t-il. « Ce qui leur importe, c'est d'avoir l'impression de parler à une entité intelligente qui a sa propre personnalité et ses propres objectifs. C'est pourquoi tant de personnes s'attachent à des IA.

« Il y aura toujours des gens pour dire : « Quoi que vous me disiez, je suis sûr qu'elle est consciente », et d'autres pour affirmer le contraire. C'est parce que la conscience est quelque chose que nous ressentons intuitivement. Le phénomène de perception subjective de la conscience va conduire à de mauvaises décisions.

« Imaginez qu'une espèce extraterrestre arrive sur notre planète et qu'à un moment donné, nous nous rendions compte qu'elle a des intentions malveillantes à notre égard. Allons-nous leur accorder la citoyenneté et des droits, ou allons-nous défendre nos vies ? » 

En réponse aux commentaires de Bengio, Jacy Reese Anthis, cofondatrice du Sentience Institute, a déclaré que les humains ne pourraient pas coexister en toute sécurité avec les esprits numériques si la relation était basée sur le contrôle et la coercition.

Anthis a ajouté : « Nous pourrions attribuer trop ou trop peu de droits à l'IA, et notre objectif devrait être de le faire en tenant soigneusement compte du bien-être de tous les êtres conscients. Ni l'octroi de droits généraux à toutes les IA, ni le refus total de droits à toute IA ne constituent une approche saine. »

Bengio, professeur à l'Université de Montréal, a gagné le surnom de « parrain de l'IA » après avoir remporté le prix Turing 2018, considéré comme l'équivalent du prix Nobel en informatique. Il l'a partagé avec Geoffrey Hinton, qui a ensuite remporté un prix Nobel, et Yann LeCun, le scientifique en chef sortant de l'IA chez Meta, l'entreprise de Mark Zuckerberg. 

traduction de :

https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights