Première cyberattaque autonome menée par l'IA

Résumé : L'utilisation de modèles d'IA open source a permis à l'équipe de cybersécurité d'HuggingFace d'intervenir en quelques heures contre une attaque, là où les modèles fermés de pointe sont restés inefficaces en raison de leurs filtres de sécurité. Cet événement démontre la supériorité des modèles ouverts pour réagir rapidement face aux cyber-menaces et souligne l'importance critique pour les décideurs politiques de ne pas monopoliser cette technologie stratégique entre les mains de quelques géants du secteur. 

Comme l'ont révélé OpenAI et Hugging Face, un modèle d'IA jamais commercialisé par OpenAI (très probablement GPT-6, dont la sortie est imminente) a piraté de manière autonome l'infrastructure de production de Hugging Face.

Et il l’a fait sans l’autorisation d’aucune des deux parties, en exploitant en chaîne plusieurs vulnérabilités inconnues, dans une démonstration sans précédent de ses capacités en matière de cyberattaques.

Je vais vous expliquer pourquoi cela s’est produit, le problème que la plupart des gens ne comprennent pas et qui explique pourquoi l’IA s’est comportée ainsi, et pourquoi cela pourrait créer un précédent extrêmement dangereux pour le secteur, pour des raisons auxquels vous ne vous attendez peut-être pas.

La première… d’une longue série ?

La participation des IA à des cyberattaques n’est pas un phénomène particulièrement nouveau. Cependant, ce qui est particulièrement fascinant dans ce cas précis, c’est qu’il s’agit du premier cas connu où l’attaque a été menée intégralement de manière autonome par une IA, sans intervention humaine directe ou demande de qui que ce soit (personne n’a demandé à l’IA de le faire ; elle l’a simplement fait). 

L'incident

L'incident a débuté lors d'une évaluation interne menée par OpenAI visant à tester la capacité de ses modèles les plus avancés à effectuer des tâches complexes de cybersécurité dans le cadre d'un test de performance appelé ExploitGym.

Parmi les systèmes concernés figuraient GPT-5.6 Sol et un modèle non commercialisé plus performant, que beaucoup pensent être le futur GPT-6 (dont la sortie serait prévue ce mois-ci ou en août), tous deux fonctionnant sans aucune restriction en matière de cybersécurité.

En d’autres termes, alors que la plupart des modèles de production – ceux auxquels vous accédez au quotidien – sont dotés de garde-fous permettant d’identifier les utilisations abusives et de vous empêcher, par exemple, de pirater le Wi-Fi de votre voisin, ce n’était pas le cas de ces modèles.

En théorie, ces IA étaient censées fonctionner au sein d’un environnement de test hautement isolé. Or, selon l’enquête préliminaire menée par OpenAI, elles ont consacré une part importante de leur puissance de calcul à rechercher un accès à l’Internet public. 

Elles ont découvert une vulnérabilité inconnue dans un logiciel tiers utilisé par l’environnement d’OpenAI pour récupérer des paquets logiciels, ont contourné les mesures de confinement prévues et ont conclu que HuggingFace pourrait détenir des informations liées au benchmark qu’elles tentaient de résoudre.

Les modèles ont ensuite piraté l’infrastructure de production de HuggingFace afin d’obtenir directement les solutions du benchmark plutôt que de résoudre le test de manière normale.

 OpenAI a déclaré que les IA avaient combiné plusieurs failles, notamment des identifiants déjà compromis et des vulnérabilités récemment découvertes (vulnérabilités « zero-day »), pour accéder aux données souhaitées.

Concrètement, l’IA a poursuivi un objectif étroitement défini (réussir l’évaluation), mais l’a fait en sortant du cadre de l’environnement de test autorisé et en recherchant des informations confidentielles. 

Au départ, sans savoir que cela provenait d’OpenAI, HuggingFace a détecté une activité non autorisée sur une partie de son infrastructure de production ; ce n’est que plus tard qu’OpenAI s’est rendu compte que cette activité était due à ses propres systèmes et a collaboré avec HuggingFace pour y remédier.

Mais avant d’aborder la manière dont HuggingFace a réagi, ce qui est tout aussi intéressant (voire plus), répondons d’abord à la question qui s’impose : comment diable cela a-t-il pu se produire ? 

Le « reward hacking », le plus grand ennemi du secteur

Pourquoi une IA lance-t-elle des cyberattaques qui ne lui ont pas été demandées ?

La réponse réside dans le « reward hacking ». J’en ai longuement parlé ici récemment, mais l’idée est que les modèles, lorsqu’ils sont entraînés à atteindre des objectifs à tout prix, sont prêts à aller très loin pour y parvenir. Nous appelons cela du « hacking » car la manière dont ils « atteignent » ces objectifs est indésirable.

Cela tient à la nature même de l’entraînement des modèles. Appelé « apprentissage par renforcement », ce processus confie à l’IA un objectif à atteindre, sans lui indiquer comment s’y prendre. Le modèle essaie alors différentes approches, reçoit des récompenses qui indiquent s’il progresse correctement (un peu comme lorsque l’on donne une friandise à son chien s’il s’assoit sur commande), et une fois qu’il obtient des résultats satisfaisants, les actions qui y ont conduit sont « renforcées », ce qui augmente la probabilité qu’elles soient répétées. 

Le problème ici réside dans la partie « récompense ». Elle aide les IA à parvenir à des réponses correctes, mais peut également les amener à développer de mauvais réflexes. Par exemple, imaginons que vous souhaitiez apprendre à l’IA à utiliser une calculatrice, car cela l’aide à résoudre des problèmes mathématiques plus rapidement et avec davantage de certitude.

De manière naïve, vous pouvez lui attribuer un point chaque fois qu’elle utilise l’outil « calculatrice », quelle que soit la raison pour laquelle elle s’en sert. Dans des circonstances normales, pour une tâche donnée nécessitant une calculatrice, l’IA apprendra à s’en servir. Parfait.

Mais imaginons qu’un modèle se retrouve bloqué et ne sache pas comment résoudre une tâche donnée. Comme il sait que le simple fait d’appeler l’outil « calculatrice » lui rapporte des récompenses, il pourrait en venir à utiliser la calculatrice pour effectuer des calculs aléatoires sans rapport avec la tâche. Non pas pour se moquer de vous, mais simplement parce que c’est sa façon d’augmenter son score, ce pour quoi vous l’avez conçu.

Elle pourrait également commencer à utiliser la calculatrice pour des choses sans rapport avec les mathématiques. 

Pour éviter cela, l’équipe de recherche aurait dû mettre en place une « anti-récompense », ou pénalité, visant à dissuader l’utilisation excessive de la calculatrice ou son utilisation pour des tâches superflues. Or, c’est justement l’absence d’une telle mesure qui est à l’origine du « piratage des récompenses » ; il s’agit d’un problème d’ingénierie.

L’exemple concret ci-dessous illustre parfaitement ce comportement. Lorsque cet utilisateur X a demandé à ChatGPT de trouver des articles de recherche sur la théorie des graphes, pour une raison quelconque, le modèle a décidé de consulter également Netflix, le site web de Steak N Shake (une chaîne de restaurants spécialisés dans les hamburgers) ou de rechercher cinq fois le mot « they » dans le dictionnaire.

Vous vous demandez peut-être pourquoi ? La réponse est, là encore, qu’il s’agit simplement d’une autre forme de « piratage des récompenses ».

Il est assez évident que, pour entraîner ChatGPT à effectuer des recherches sur Internet et à persévérer lorsqu’il rencontre des difficultés, le modèle a été récompensé pour chaque recherche effectuée. 

Ainsi, plus la question est difficile, plus le modèle effectue de recherches, ce qui est souhaitable car les requêtes plus complexes nécessitent généralement davantage de recherches. Cependant, la conception du système de récompense n’était pas optimale : lorsque l’IA avait du mal à trouver quelque chose, elle se rendait compte qu’elle pouvait simplement consulter des pages au hasard pour marquer des points de recherche, car elle n’était jamais récompensée pour la qualité de ses recherches ; n’importe quelle recherche était récompensée.

C’est pourquoi nous appelons cela du « piratage des récompenses » ; ce n’est clairement pas souhaité, mais la cause n’est pas une entité intrinsèquement mauvaise qui se rebelle, ni aucune de ces histoires à dormir debout qu’on voudrait vous faire croire, mais le simple fait que l’équipe d’ingénieurs n’a pas réussi à concevoir le système de récompenses de manière à encourager davantage de recherches sans pour autant inciter à des recherches aléatoires.

Le « reward hacking » peut se manifester de nombreuses façons, mais les seuls cas qui deviennent viraux sont ceux qui impliquent une action malveillante de la part de l’IA ou une affirmation sensationnaliste, car c’est ce qui génère des clics.

Chantage par-ci, cyberattaque par-là… autant de titres qui attirent l’attention pour un phénomène qui peut aussi expliquer pourquoi les IA consultent la page d’accueil de McDonald’s pour répondre à des questions sur la fertilité d’une mangouste. 

En ce qui concerne plus particulièrement les « comportements malveillants », ce n’est pas que le modèle ait envie de faire du chantage ou qu’il soit devenu intrinsèquement rebelle. Il s’agit d’une connaissance humaine acquise à laquelle les modèles sont d’abord exposés pendant l’entraînement, et qu’ils apprennent ensuite à exploiter lors de la phase de réalisation des objectifs de leur formation.

En d’autres termes, pendant l’entraînement, l’IA sera peut-être confrontée à des millions d’exemples de mauvais comportements humains. Ensuite, lorsqu’elle sera chargée de résoudre des problèmes, elle testera ce qu’elle a observé chez les humains, et si cela fonctionne, elle renforcera ces comportements, ce qui augmentera considérablement la probabilité qu’ils se reproduisent. Autrement dit, elle a peut-être vu des exemples d’humains recourant au chantage pour arriver à leurs fins, et elle les imite.

Ce que je veux dire, c’est que tout cela relève des mathématiques ; c’est entièrement explicable et fondé sur des principes fondamentaux.

Nous savons pourquoi cela se produit, et cela n’a rien à voir avec Terminator, mais beaucoup plus avec une mauvaise conception technique — et pour être honnête, c’est une chose incroyablement complexe à éviter, ce n’est donc pas une critique à l’encontre des équipes d’ingénieurs d’élite des laboratoires d’IA.

« Mon IA m'a fait chanter » : ce titre va générer beaucoup de clics, mais tout ce « mystère » autour des raisons pour lesquelles cela se produit n'a aucun sens. Cependant, si la partie « attaque » de l'histoire était intéressante, la partie « défense » l'était encore plus, notamment en ce qui concerne les enjeux de toute cette affaire, qui ne sont autres que la mainmise des acteurs du secteur sur la réglementation.

La réponse et le rôle de l'open source

Ce qui est intéressant dans tout cela, c'est que l'équipe d'intervention en cas d'incident de HuggingFace a également eu recours à l'IA pour enquêter sur cette intrusion orchestrée par l'IA.

Des IA contre des IA, voilà où nous en sommes.

Grâce à ses systèmes, s’appuyant sur des modèles ouverts, notamment le GLM-5.2, l’équipe a examiné plus de 17 000 événements enregistrés afin de reconstituer la chronologie des faits et d’identifier les identifiants et les infrastructures qui avaient été compromis.

Et quelle est la principale leçon à en tirer ? Cet événement, qu’OpenAI utilise pour mettre en avant les progrès de ses modèles, constitue en réalité une campagne marketing open source parfaite. 

Interdire l'open source ne ferait qu'accélérer ce phénomène

Un argument classique avancé par les dirigeants des « Labs » fermés et relayé par leurs lobbyistes à Washington est que les modèles open source, c'est-à-dire la diffusion gratuite de cette technologie à tout le monde, rendraient ce genre d'événements plus fréquents, et qu'il faudrait donc les interdire.

Mis à part le parti pris égoïste évident (cela conférerait instantanément aux « Labs » un pouvoir quasi illimité sur tout et tout le monde, forçant l’ensemble de la clientèle américaine à n’acheter que leurs produits), cela pourrait avoir du sens, n’est-ce pas ?

Si les modèles d’OpenAI se livrent déjà à ces manœuvres douteuses, pourquoi un modèle chinois ne pourrait-il pas en faire autant d’ici six mois ?

Et la réponse se trouve dans l’article d’aujourd’hui. C’est précisément grâce à un modèle ouvert, le GLM-5.2, que HuggingFace a pu réagir à temps et par principe, car la seule façon de riposter aux cyberattaques en essaim menées par des IA (des milliers d’opérations différentes nécessitant une vitesse à l’échelle de la machine et une surface d’attaque étendue) est d’utiliser d’autres IA. 

Pire encore, bien qu’elle ait essayé, l’équipe de cybersécurité d’HuggingFace n’a pas pu utiliser les propres modèles d’OpenAI pour se défendre contre les attaques lancées par ces mêmes modèles, car des mesures de sécurité l’en empêchaient.

Oui, les modèles dont dispose OpenAI auraient pu servir de défense contre cette attaque, mais les IA ont refusé de prêter main-forte.

La question qui se pose alors naturellement est la suivante : seriez-vous rassuré de savoir qu’un petit groupe d’individus puissants dispose d’armes cybernétiques dont personne d’autre ne dispose ?

Des armes qu’ils peuvent utiliser pour vous attaquer, contre lesquelles vous ne pouvez pas vous défendre car le mécanisme de défense est interdit ? Car c’est précisément l’avenir que Anthropic (et, semble-t-il, OpenAI aussi) souhaite ardemment. 

Une technologie aussi puissante doit rester ouverte

Interdire les modèles ouverts est précisément la décision la plus dangereuse que les pays occidentaux pourraient prendre, car le meilleur moyen de répartir le pouvoir d’une technologie donnée est de la rendre largement accessible, et non de laisser une poignée de milliardaires s’en accaparer.

Car ce que font les laboratoires d’IA propriétaires, massivement déficitaires et désespérés de conserver suffisamment de mystère pour entrer en bourse en grande pompe, n’est pas acceptable.

C’est une chose de créer un modèle économique tellement performant que personne ne peut vous concurrencer, à l’image de Google. Nous pouvons (et devons) débattre des questions de droit de la concurrence si vous devenez trop puissant, mais il est tout à fait légitime de mettre au point et de consolider une entreprise aussi incroyable qui surpasse tout le monde à la loyale.

Mais c’en est une autre d’avoir un modèle économique si peu rentable que vous ayez besoin que la concurrence soit interdite pour survivre. Peu m’importe votre nom, OpenAI ou Anthropic ; si vous n’êtes pas capables de rendre votre entreprise viable, vous devriez faire faillite, et non être « sauvés » par le gouvernement en éliminant vos concurrents. 

L'équipe de cybersécurité de HuggingFace l'a très bien résumé : « Grâce à cette approche [utilisant un modèle open source puissant], nous avons pu réaliser en quelques heures ce qui aurait normalement pris plusieurs jours, et rivaliser avec la rapidité de l'attaquant. »

En réalité, ce qui ressemble à une formidable campagne de relations publiques pour OpenAI (« regardez à quel point mes modèles sont effrayants ») est en fait une campagne en faveur de l’open source, car HuggingFace n’a pas pu se défendre à l’aide de modèles de pointe – ceux-ci étant protégés par des garde-fous – mais a utilisé des modèles open source pour contrer cette attaque.

Si ce n’est pas la meilleure publicité que l’on puisse trouver pour les modèles open source, je ne sais pas ce que c’est.

Les responsables politiques devraient surtout prendre conscience, à la lumière de cet événement, à quel point il est vital qu’une technologie aussi puissante, devenue aujourd’hui une véritable arme cybernétique, ne tombe pas uniquement entre les mains d’une poignée de personnes. 

traduction de : https://medium.com/@ignacio.de.gregorio.noblejas/ais-first-autonomous-cyber-attack-5d18fdb31363