Résumé (chat gpt) : L'article examine la potentialité de l'utilisation abusive de l'intelligence artificielle (IA), en se concentrant sur l'exemple de ChatGPT développé par OpenAI, qui pourrait être utilisé pour faciliter la conception et la diffusion d'armes biologiques. L'auteur souligne que les progrès de l'IA, bien qu'ayant d'immenses avantages, présentent également des risques en matière de sécurité, car des systèmes comme ChatGPT pourraient être détournés par des personnes malveillantes pour élaborer des plans de bioterrorisme. L'article met en évidence le potentiel de l'IA pour automatiser la recherche de souches pathogènes dangereuses, faciliter la création de scénarios de dispersion et aider à contourner les contrôles de sécurité.
L'auteur préconise une surveillance attentive et des réglementations strictes pour minimiser ces risques potentiels, tout en encourageant les chercheurs et les développeurs d'IA à prendre en compte les implications de sécurité dès la conception des systèmes. Il souligne que la prévention de l'utilisation abusive de l'IA nécessite une collaboration entre les experts en IA, les responsables politiques et les organismes de réglementation pour anticiper et atténuer les menaces émergentes liées à la sécurité. En résumé, l'article souligne les préoccupations quant à l'utilisation détournée de l'IA, en particulier dans le domaine du bioterrorisme, et appelle à des mesures proactives pour contrôler et encadrer l'utilisation de l'IA dans des domaines potentiellement dangereux.
***
Au cours de l'été 1990, trois camions ont pulvérisé un liquide jaune sur différents sites de Tokyo et de ses environs, dont deux bases navales américaines, l'aéroport de Narita et le palais impérial. Les attaquants appartenaient à un groupe appelé Aum Shinrikyo, une secte japonaise dont l'objectif était de provoquer l'effondrement de la civilisation pour laisser place à une nouvelle société ordonnée selon leurs idéaux religieux. Cinq ans plus tard, Aum s'est fait connaître en perpétrant des attentats au gaz sarin dans le métro de Tokyo, tuant 13 personnes et en blessant des milliers d'autres.
Aum voulait que le liquide jaune dispersé au cours de l'été 1990 contienne de la toxine botulique, l'une des substances biologiques les plus toxiques connues de l'homme. Cependant, personne n'a été tué lors des attaques de cet été-là. L'un des facteurs possibles de cet échec est que la secte Aum manquait d'un élément de connaissance crucial : la différence entre la dissémination de la bactérie Clostridium botulinum et la dissémination de la toxine botulique hautement mortelle qu'elle produit. Il n'est pas certain qu'Aum ait même réussi à acquérir une forme de la bactérie produisant la toxine, et il existe d'autres raisons pour lesquelles l'attaque d'Aum a échoué.
Mais si elle avait eu accès aux outils contemporains d'intelligence artificielle, Aum Shinrikyo, ou un groupe malveillant similaire, n'aurait peut-être pas commis cette erreur et d'autres. ChatGPT répond très bien aux questions et fournit des connaissances, y compris sur la production de toxine botulique. Si Aum avait eu accès à ChatGPT, les attaques de l'été 1990 resteraient-elles dans les mémoires comme le pire événement bioterroriste de l'histoire ?
Les progrès de l'intelligence artificielle ont un énorme potentiel d'impact positif sur la science et la santé. Des outils comme ChatGPT révolutionnent la façon dont la société fonctionne et apprend, et l'intelligence artificielle appliquée à la biologie a permis de résoudre le problème du repliement des protéines, vieux d'une décennie, et transforme la découverte de médicaments. Toutefois, comme l'intelligence artificielle relève le plafond du génie biologique et contribue à distribuer ces pouvoirs à un nombre considérable d'individus, il existe un risque sérieux qu'elle permette à des groupes mal intentionnés comme Aum Shinrikyo de faire des ravages. Comme je l'ai expliqué dans un article récent, les grands modèles de langage (LLM) comme ChatGPT, ainsi que les nouveaux outils de conception biologique alimentés par l'IA, peuvent augmenter de manière significative les risques liés aux armes biologiques et au bioterrorisme.
Comment les modèles de langage de l'IA sont un multiplicateur de menace pour les armes biologiques
Les grands modèles de langage, qui sont très efficaces pour répondre à des questions et enseigner des connaissances à double usage, peuvent notamment accroître l'accessibilité des armes biologiques. Lors d'un récent exercice au MIT, il n'a fallu qu'une heure à ChatGPT pour enseigner à des étudiants qui ne sont pas des scientifiques quatre agents pathogènes pandémiques potentiels, y compris des options sur la manière dont ils pourraient être acquis par toute personne ne possédant pas les compétences nécessaires pour les créer en laboratoire, et sur la manière d'éviter la détection en obtenant du matériel génétique auprès de fournisseurs qui ne filtrent pas les commandes.
Par ailleurs, la méconnaissance du groupe Aum Shinrikyo concernant la différence entre Clostridium botulinum et la toxine botulique n'est pas un exemple isolé. Les programmes d'armes biologiques antérieurs ont souvent été bloqués par le manque de personnes possédant les connaissances et l'expertise nécessaires à la création d'une arme biologique efficace. L'exploration du bioterrorisme par Al-Qaida a été menée par Rauf Ahmed, qui avait d'abord étudié les microbes liés à la production alimentaire, et qui a donc essayé de se familiariser rapidement avec l'anthrax et d'autres agents pathogènes. Au cours de l'année 2001, Rauf a utilisé ses références scientifiques pour progresser dans l'acquisition d'anthrax. On ne sait pas publiquement jusqu'où il est allé ; il a été arrêté en décembre.
Bien qu'il ait eu accès aux équipements nécessaires, l'Irak de Saddam Hussein n'a jamais transformé son arme à base d'anthrax d'une forme liquide moins puissante en une forme poudreuse plus dangereuse, qui peut être stockée et libérée à une concentration beaucoup plus élevée et plus prévisible. C'est probablement parce que ses scientifiques ne connaissaient pas le processus de séchage et de broyage de l'anthrax. Toutefois, à mesure que les chatbots deviennent plus sophistiqués, ils peuvent involontairement aider des individus mal intentionnés à se perfectionner sur des sujets leur permettant de nuire.
Mais que peut-on apprendre d'un assistant de laboratoire doté d'une IA ? Après tout, pour fabriquer un agent pathogène ou une arme biologique, il ne suffit pas d'avoir des connaissances pédagogiques du type de celles qui peuvent être dispensées par une maîtrise en droit, il faut aussi des connaissances pratiques et tacites. Les connaissances tacites décrivent toutes les connaissances qui ne peuvent être verbalisées et qui ne peuvent être acquises que par l'expérience directe. Pensez à la façon de faire du vélo ou, d'ailleurs, à la façon d'effectuer des procédures de biologie moléculaire, qui peuvent nécessiter de savoir comment tenir une pipette, agiter une fiole ou traiter vos cellules. Il est difficile de définir l'étendue de cette barrière de connaissances tacites et l'impact que les LLM comme le ChatGPT peuvent avoir sur son abaissement. Cependant, un fait semble clair : si les chatbots et les assistants de laboratoire dotés d'une IA rendent la création et la modification d'agents biologiques plus accessibles, il est probable que davantage d'individus s'y essaieront. Et plus ils seront nombreux à essayer, plus ils finiront par réussir.
En outre, ChatGPT n'est que le commencement des modèles de langage et des formes connexes d'intelligence artificielle. D'ores et déjà, les modèles de langage révolutionnent la manière dont les scientifiques peuvent donner des instructions aux robots de laboratoire sur le travail à effectuer. Bientôt, les systèmes d'intelligence artificielle seront capables de concevoir des stratégies expérimentales. Ainsi, l'intelligence artificielle permettra et accélérera l'automatisation croissante de la science, en réduisant le nombre de scientifiques nécessaires pour faire avancer les projets à grande échelle. Il sera ainsi plus facile de mettre au point des armes biologiques de manière clandestine.
Les outils de conception biologique pourraient simplifier les armes biologiques
Si les grands modèles de langage peuvent éventuellement dépasser le plafond des capacités de conception biologique, des outils d'IA plus spécialisés le font déjà aujourd'hui. Ces outils de conception biologique (BDT) comprennent des modèles de repliement des protéines comme AlphaFold2 et des outils de conception de protéines comme RFdiffusion. Ces outils d'intelligence artificielle sont généralement formés sur des données biologiques, telles que des séquences génétiques. Ils sont développés par un grand nombre d'entreprises et d'universitaires pour relever d'importants défis en matière de conception biologique, tels que le développement d'anticorps thérapeutiques. À mesure que les outils de conception biologique deviendront plus puissants, ils permettront de nombreuses avancées bénéfiques, comme la création de nouveaux médicaments basés sur de nouvelles protéines ou des virus de conception.
Mais ces puissantes capacités de conception peuvent également exacerber les risques biologiques. À l'extrême, les outils de conception biologique pourraient permettre de concevoir des agents biologiques dotés de propriétés sans précédent. On a émis l'hypothèse que les agents pathogènes naturels présentent un compromis entre leur degré de transmissibilité et leur degré de mortalité ; les agents pathogènes conçus pourraient ne pas présenter de telles contraintes évolutives. Un groupe comme Aum Shinrikyo pourrait potentiellement créer un virus pandémique bien pire que tout ce que la nature pourrait produire et, par conséquent, les outils de conception biologique pourraient transformer les pandémies en véritables menaces existentielles, au lieu des risques catastrophiques qu'elles représentent actuellement. Les outils de conception biologique pourraient également permettre la création d'agents biologiques ciblant des zones géographiques ou des populations spécifiques.
À court terme, les nouvelles capacités de conception peuvent remettre en question les mesures existantes de contrôle de l'accès aux toxines et aux agents pathogènes dangereux. Les mesures de sécurité existantes tendent à se concentrer sur des listes proscrites d'organismes dangereux ou sur le dépistage de séquences génétiques menaçantes connues. Mais les outils de conception peuvent simplement générer d'autres agents ayant des propriétés dangereuses similaires que ces mesures ne pourraient pas détecter.
La bonne nouvelle est que - au moins dans un premier temps - les nouvelles possibilités de pointe offertes par les outils de conception biologique ne resteront probablement accessibles qu'à un nombre raisonnable d'experts existants qui utiliseront ces installations à des fins légitimes et bénéfiques. Toutefois, cette barrière d'accès diminuera à mesure que les outils de conception biologique deviendront si performants que leurs résultats ne nécessiteront que peu d'essais supplémentaires en laboratoire ; en particulier, à mesure que les modèles de langage de l'IA apprendront à s'interfacer efficacement avec les outils. Les modèles de langage sont d'ores et déjà reliés à des outils scientifiques spécialisés pour faciliter l'exécution de tâches spécifiques et appliquer automatiquement l'outil approprié à la tâche à accomplir. Ainsi, les sommets de la conception biologique pourraient rapidement devenir accessibles à un très grand nombre de personnes, y compris des personnes mal intentionnées.
Pourquoi nous avons besoin de règles obligatoires pour la synthèse des gènes
Que peut-on faire pour atténuer les risques découlant de l'intersection de l'intelligence artificielle et de la biologie ? Il existe deux angles d'attaque importants : le renforcement des mesures générales de biosécurité et le développement d'approches d'atténuation des risques spécifiques aux nouveaux systèmes d'intelligence artificielle.
Face à des capacités de conception biologique de plus en plus puissantes et accessibles, une mesure de biosécurité cruciale est le contrôle universel de la synthèse des gènes. La production des composants génétiques d'une protéine ou d'un organisme est l'étape cruciale qui permet de transformer les conceptions numériques en agents physiques. Un certain nombre d'entreprises sont spécialisées dans la production de ces éléments constitutifs de l'ADN ou de l'ARN. Depuis 2010, le gouvernement américain recommande que ces entreprises de synthèse génique examinent les commandes et les clients afin de s'assurer que seuls les chercheurs légitimes accèdent au matériel génétique nécessaire à la fabrication d'agents contrôlés. De nombreuses sociétés de synthèse génique de pointe procèdent volontairement à ce filtrage et ont formé le Consortium international de synthèse génique pour coordonner ces activités. Toutefois, un nombre important de fournisseurs de synthèse génique n'effectuent toujours pas de contrôle. En effet, comme le montre l'exercice du MIT, ChatGPT est très doué pour mettre en évidence ce fait et donner des instructions sur la manière d'exploiter ces faiblesses dans la sécurité de la chaîne d'approvisionnement.
Ce qu'il faut, c'est une base obligatoire pour l'examen des produits à base d'ADN synthétique. Le fait d'exiger un tel contrôle de base ne va pas à l'encontre des intérêts des entreprises : Les leaders de l'industrie aux États-Unis et au Royaume-Uni ont contrôlé volontairement les commandes et réclament activement une base réglementaire pour empêcher les concurrents de lésiner sur la sécurité. Les mesures visant à rendre obligatoire le contrôle de la synthèse génique doivent prendre en compte les dispositifs de synthèse génique de laboratoire de plus en plus courants et doivent être évolutives afin d'inclure le contrôle des équivalents fonctionnels des agents concernés. Des bases de contrôle similaires sont également nécessaires pour d'autres fournisseurs de services cruciaux à la frontière du numérique et du physique, tels que les organismes de recherche sous contrat qui fournissent des services de synthèse d'organismes.
Faire progresser la gouvernance de l'intelligence artificielle
Outre les mesures générales de biosécurité, nous avons également besoin d'interventions spécifiques à l'intelligence artificielle. La première priorité devrait être d'atténuer les risques liés aux grands modèles de langage, non seulement parce que ces modèles sont déjà susceptibles de faire tomber les obstacles au détournement des produits biologiques, mais aussi parce que leurs capacités peuvent s'accroître rapidement et de manière imprévisible. Le fait que ces capacités nouvelles et dangereuses ne se révèlent qu'après la publication du modèle constitue un défi crucial qui s'applique à l'ensemble des risques posés par les grands modèles de langage.
Les évaluations préalables à la diffusion des capacités du modèle peuvent jouer un rôle particulièrement crucial dans l'atténuation des risques posés par les modèles linguistiques à grande échelle. Ces évaluations préalables sont nécessaires pour s'assurer que les nouveaux modèles ne contiennent pas de capacités dangereuses au moment de leur diffusion - et si elles sont effectuées par un tiers, elles peuvent garantir que les entreprises ont pris les mesures appropriées lors de la formation et de la mise au point afin de réduire le risque que ces modèles puissent permettre une utilisation biologique abusive. La diffusion des modèles par le biais de méthodes d'accès structurées, telles que l'interface Web ChatGPT, peut garantir la mise à jour continue des mesures de protection. En revanche, l'ouverture d'un LLM puissant présente des risques importants, car le réglage fin et les mesures de protection peuvent être facilement supprimés, et si de nouvelles capacités dangereuses sont découvertes, il serait impossible de corriger un modèle ou de mettre à jour ses mesures de protection.
D'une manière générale, l'impact potentiel des outils d'intelligence artificielle sur le risque d'utilisation abusive de la biologie soulève une question profonde : Qui devrait pouvoir accéder aux capacités scientifiques à double usage ? Pour les décideurs politiques qui tentent de répondre à cette question, il sera essentiel de prendre en compte les différentes voix qui s'élèvent dans les différentes disciplines, les différentes données démographiques et les différentes zones géographiques. Cela nécessitera des compromis difficiles entre l'ouverture des domaines scientifiques liés aux agents pathogènes, l'application de la loi et la surveillance des flux de données à la recherche d'activités illicites, et l'augmentation du risque d'utilisation abusive.
Une position raisonnable pourrait être que les modèles de langage comme ChatGPT n'ont pas besoin de fournir à quiconque des instructions détaillées étape par étape pour créer une souche dangereuse de grippe pandémique. Par conséquent, il serait préférable que les versions publiques de ces modèles ne donnent pas de réponses détaillées aux questions sur ce sujet et d'autres sujets à double usage. Notamment, le modèle linguistique de pointe Claude 2, récemment publié par Anthropic, comporte des restrictions nettement plus élevées que le GPT-4 pour ce qui est de fournir à ses utilisateurs des instructions détaillées pour des expériences dangereuses.
En même temps, il est important que ces outils permettent aux scientifiques ayant reçu la formation et l'autorisation nécessaires de mettre au point de nouveaux médicaments et vaccins. Des méthodes d'accès différenciées sont donc nécessaires pour les assistants de laboratoire alimentés par l'IA et les outils de conception biologique. Pour ce faire, il pourrait être nécessaire d'améliorer les moyens permettant aux scientifiques légitimes de s'authentifier en ligne. Par exemple, pour accéder aux capacités des modèles permettant de prédire les variantes d'évasion immunitaire du virus de la grippe afin d'éclairer la conception des vaccins, un scientifique pourrait avoir besoin de s'authentifier et de fournir les documents appropriés concernant la biosécurité et l'examen du double usage.
Au-delà de l'aggravation des risques en matière de biosécurité, les progrès de l'intelligence artificielle constituent également une opportunité. Les progrès de l'intelligence artificielle, qui favorisent un contrôle plus rigoureux de la synthèse des gènes, renforceront la biosécurité de manière plus générale. Et comme les risques biologiques conduisent à des mesures de gouvernance de l'IA telles que des évaluations préalables à la diffusion de grands modèles de langage, cela permettra d'atténuer un éventail plus large de risques liés à l'intelligence artificielle. Une action rapide des décideurs politiques permettra non seulement d'améliorer la sécurité, mais aussi d'ouvrir la voie aux nombreux avantages de l'intelligence artificielle.
Jonas Sandbrink est chercheur en biosécurité à l'Université d'Oxford. Cet article est basé sur le document qu'il a récemment publié et qui s'intitule "Artificial intelligence and biological misuse : Differentiating risks of language models and biological design tools". Cet article reflète uniquement l'opinion de l'auteur et non celle des organisations auxquelles il est affilié.
source :
https://www.vox.com/future-perfect/23820331/chatgpt-bioterrorism-bioweapons-artificial-inteligence-openai-terrorism