Jusqu'à ce que le ChatGPT cesse d'être le sujet d'actualité le plus important en matière d'IA, je suppose que nous sommes obligés d'en parler... Je plaisante, je ferai en sorte de traiter d'autres sujets, sinon nous risquons de nous épuiser.
Il y a encore beaucoup de choses à dire sur les implications immédiates et à long terme de ChatGPT. J'ai écrit sur ce qu'est ChatGPT et sur la façon d'en tirer le meilleur parti, sur le défi que représente l'identification de ses résultats et sur la menace qu'il représente pour Google et les moteurs de recherche traditionnels, mais je n'ai pas encore abordé la façon dont les risques et les préjudices que certains prévoyaient se manifestent déjà dans le monde réel.
Deux mois après sa sortie, nous pouvons tous convenir que ChatGPT a conquis le grand public et a propulsé l'IA au rang de domaine à part entière. Pour l'anecdote, un ami qui ne connaît rien à l'IA est venu me parler de ChatGPT avant que je ne lui en parle. C'était une première pour moi - et je ne suis pas le seul.
C'est la raison pour laquelle il est urgent de parler des conséquences de l'IA : ChatGPT a trouvé son public beaucoup plus rapidement que toutes les informations sur la façon de bien l'utiliser ou de ne pas l'utiliser. Le nombre de personnes utilisant des outils d'IA aujourd'hui est plus important que jamais (pas seulement ChatGPT ; Midjourney compte près de 10 millions de membres sur le serveur Discord), ce qui implique que plus de personnes que jamais en feront un mauvais usage.
Contrairement à mes essais prédictifs/spéculatifs, celui-ci ne porte pas sur des choses qui pourraient se produire mais sur des choses qui se produisent actuellement. Je vais me concentrer sur ChatGPT parce que c'est ce dont tout le monde parle, mais presque tout ce qui suit pourrait s'appliquer, avec une transposition adéquate, à d'autres types d'IA générative.
Les méfaits de ChatGPT ne sont plus hypothétiques
Le 6 janvier, le groupe de recherche en sécurité Check Point Research (CPR) a publié un article terrifiant intitulé "OpwnAI : les cybercriminels commencent à utiliser ChatGPT". Bien que cela ne soit pas surprenant, je ne le prévoyais pas si tôt.
Le CPR avait précédemment étudié la manière dont les hackers malveillants, les escrocs et les cybercriminels pouvaient exploiter ChatGPT. Ils ont démontré comment le chatbot peut "créer un flux d'infection complet, du spear-phishing à l'exécution d'un reverse shell" et comment il peut générer des scripts à exécuter dynamiquement, en s'adaptant à l'environnement.
Malgré les garde-fous d'OpenAI, qui apparaissaient sous la forme d'une notification d'avertissement orange lorsque le CPR forçait ChatGPT à faire quelque chose contre la politique d'utilisation, le groupe de recherche n'a eu aucun problème à générer un simple courriel de phishing. "Les processus d'attaque compliqués peuvent également être automatisés, en utilisant les API de LLMs pour générer d'autres artefacts malveillants", ont-ils conclu.
Les chercheurs du CPR ne se sont pas contentés de prouver que ChatGPT pouvait faire cela de manière théorique (l'une des critiques courantes adressées aux sceptiques est que les risques potentiels dont ils font état ne se concrétisent jamais dans le monde réel). Ils voulaient trouver des exemples réels de personnes l'utilisant de façon similaire. Et ils en ont trouvé.
Le CPR a analysé "plusieurs grandes communautés de pirates underground" et a trouvé au moins trois exemples concrets de cybercriminels utilisant ChatGPT d'une manière qui non seulement viole les conditions d'utilisation mais qui pourrait devenir nuisible de façon directe et mesurable.
Tout d'abord, un voleur d'informations. Dans un fil de discussion intitulé "ChatGPT - Avantages des logiciels malveillants", un utilisateur a partagé des expériences où il a "recréé de nombreuses variétés de logiciels malveillants." Comme l'a noté le CPR, les autres messages de cet utilisateur révèlent que "cet individu [vise] à montrer aux cybercriminels moins compétents techniquement comment utiliser ChatGPT à des fins malveillantes".
Deuxièmement, un outil de chiffrement. Un utilisateur du nom de "USDoD" a publié un script Python avec des "fonctions de chiffrement et de déchiffrement". Le CPR a conclu que le "script peut facilement être modifié pour chiffrer complètement la machine de quelqu'un sans aucune interaction avec l'utilisateur". Bien que USDoD ait des "compétences techniques limitées", il est "engagé dans une variété d'activités illicites."
Le dernier exemple est l'activité de fraude. Le titre du post est assez révélateur : "Abuser de ChatGPT pour créer des scripts pour les marchés du Dark Web". Le CPR écrit : "Les cybercriminels ont publié un morceau de code qui utilise une API tierce pour obtenir des prix actualisés des cryptomonnaies... dans le cadre du système de paiement du marché du Dark Web."
Il est clair que le fait que ChatGPT soit gratuit et très intuitif attire les cybercriminels, y compris ceux qui ont peu de compétences techniques. Comme l'explique Sergey Shykevich, responsable du groupe Threat Intelligence chez Check Point :
" Tout comme ChatGPT peut être utilisé à bon escient pour aider les développeurs à écrire du code, il peut également être utilisé à des fins malveillantes. Bien que les outils que nous analysons dans ce rapport soient plutôt basiques, ce n'est qu'une question de temps avant que des auteurs de menaces plus sophistiqués améliorent la façon dont ils utilisent les outils basés sur l'IA. "
ChatGPT est un facteur de risque pour la sécurité en ligne. Ce n'est pas une hypothèse exacerbée par les alarmistes, mais une réalité qu'il est difficile de nier. Pour ceux qui utilisent l'argument selon lequel cela était possible avant le ChatGPT, deux choses : Premièrement, ChatGPT peut réduire le fossé technique. Deuxièmement, l'échelle compte beaucoup ici - ChatGPT peut écrire automatiquement un script en quelques secondes.
OpenAI n'aurait pas dû ouvrir ChatGPT - si tôt
Cybersécurité, désinformation, plagiat... De nombreuses personnes ont mis en garde à plusieurs reprises contre les problèmes que peuvent causer les IA de type ChatGPT. Maintenant, les utilisateurs malveillants commencent à pulluler.
Quelqu'un pourrait encore essayer de plaider en faveur de ChatGPT. Peut-être n'est-il pas si problématique - les avantages peuvent compenser les inconvénients - mais peut etre que c'est le cas. Et un "peut-être" devrait suffire pour que nous y réfléchissions à deux fois. OpenAI a baissé sa garde lorsque GPT-2 s'est avéré "inoffensif" (ils n'ont vu "aucune preuve solide d'utilisation abusive jusqu'à présent"), et ils ne l'ont plus jamais évoqué.
Je suis d'accord avec Scott Alexander pour dire que "c'est peut-être une mauvaise chose que les principales entreprises d'IA du monde ne puissent pas contrôler leurs IA". Peut-être que l'apprentissage par renforcement grâce au feedback humain n'est pas suffisant. Les entreprises devraient peut-être trouver de meilleurs moyens d'exercer un contrôle sur leurs modèles si elles veulent les diffuser. Peut-être que GPT-2 n'était pas si dangereux, mais quelques itérations plus tard, nous avons de quoi nous inquiéter. Et si ce n'est pas le cas, nous l'aurons plus tard.
Je ne dis pas qu'OpenAI n'a pas essayé - ils l'ont fait (ils ont même été critiqués pour être trop conservateurs). Ce que je dis, c'est que, si nous perpétuons cet état d'esprit "J'ai essayé de faire les choses correctement et j'ai maintenant le feu vert pour diffuser mon IA" dans un avenir à court terme, nous rencontrerons de plus en plus d'inconvénients qu'aucun avantage ne pourra compenser.
Une question me préoccupe depuis quelques semaines : Si OpenAI est si soucieuse de faire les choses correctement, pourquoi n'a-t-elle pas mis en place un système de filigrane pour identifier les résultats de ChatGPT avant de rendre le modèle public ? Scott Aaronson essaie toujours de le faire fonctionner, un mois après que le modèle soit devenu complètement viral.
Je ne pense pas qu'un filigrane aurait résolu les problèmes fondamentaux que cette technologie entraîne, mais il aurait aidé en donnant du temps. Du temps pour que les gens s'adaptent, pour que les scientifiques trouvent des solutions aux problèmes les plus urgents, et pour que les régulateurs proposent une législation appropriée.
Les détecteurs de GPT sont la dernière frontière (saine)
En raison de l'inaction d'OpenAI, nous nous retrouvons avec des tentatives timides de construction de détecteurs de GPT qui pourraient fournir aux gens un moyen d'éviter la désinformation, les escroqueries ou les attaques de phishing de l'IA. Certains ont essayé de réutiliser un détecteur GPT-2 vieux de trois ans pour ChatGPT, mais cela ne fonctionne pas. D'autres, comme Edward Tian, étudiant en CS et en journalisme à l'université de Princeton, ont développé des systèmes de A à Z, spécifiquement destinés à ChatGPT.
À ce jour, plus de 10 000 personnes ont testé GPTZero, dont moi-même (Tian est en train de construire un produit pour lequel plus de 3 000 enseignants ont déjà souscrit). J'avoue que j'ai réussi à le tromper une seule fois (et seulement parce que ChatGPT a mal orthographié un mot) mais je n'ai pas non plus trop essayé.
Le détecteur est assez simple ; il évalue la "perplexité" et l'"éclatement" d'un morceau de texte. La perplexité mesure à quel point une phrase "surprend" le détecteur (c'est-à-dire à quel point la distribution des mots en sortie ne correspond pas à ce qui est attendu d'un modèle de langage) et l'éclatement mesure la constance de la perplexité à travers les phrases. En d'autres termes, GPTZero exploite le fait que les humains ont tendance à écrire de manière beaucoup plus étrange que les IA, ce qui devient évident dès que vous lisez une page de texte généré par une IA. C'est tellement ennuyeux...
Avec un taux de faux positifs de <2%, GPTZero est le meilleur détecteur qui existe. Tian est fier : "Les humains méritent de savoir quand l'écriture n'est pas humaine", a-t-il déclaré au Daily Beast. Je suis d'accord - même si ChatGPT ne plagie pas, il est moralement incorrect pour les gens de prétendre qu'ils sont les auteurs de quelque chose que ChatGPT a écrit.
Mais je sais qu'il n'est pas infaillible. Quelques modifications du résultat (par exemple, mal orthographier un mot ou intercaler le vôtre) peuvent suffire à tromper le système. Demander à ChatGPT d'éviter de répéter des mots fonctionne très bien, comme le montre Yennie Jun ici. Enfin, GPTZero pourrait devenir bientôt obsolète car de nouveaux modèles de langage apparaissent toutes les quelques semaines - AnthropicAI a officieusement annoncé Claude qui, comme le montrent les analyses de Riley Goodside, est meilleur que ChatGPT.
Et GPT-4 n'est pas loin.
C'est le jeu du chat et de la souris, comme certains aiment à l'appeler, et la souris a toujours une longueur d'avance.
Interdire ChatGPT : Une mauvaise solution
Si les détecteurs fonctionnaient parfaitement, beaucoup de gens seraient en colère. La plupart d'entre eux veulent utiliser ChatGPT sans entraves. Les étudiants, par exemple, ne pourraient pas tricher dans les dissertations écrites parce qu'un professeur doté d'une intelligence artificielle pourrait être au courant de l'existence d'un détecteur (cela s'est déjà produit). Le fait que plus de 3 000 enseignants se soient inscrits au nouveau produit de Tian en dit long.
Mais, comme les détecteurs ne sont pas suffisamment fiables, ceux qui ne veulent pas être confrontés à l'incertitude de devoir deviner si un produit écrit est ou non un produit de ChatGPT ont choisi la solution la plus conservatrice : Interdire ChatGPT.
Le Guardian a rapporté vendredi que "les écoles de la ville de New York ont interdit ChatGPT". Jenna Lyle, porte-parole du ministère, cite "des préoccupations concernant les effets négatifs sur l'apprentissage des élèves, ainsi que des préoccupations concernant la sécurité et l'exactitude des contenus" pour justifier cette décision. Bien que je comprenne le point de vue des enseignants, je ne pense pas que ce soit une approche judicieuse - c'est peut-être le choix le plus facile, mais ce n'est pas le bon.
David Ha, de Stability.ai, a tweeté ceci lorsque la nouvelle est sortie : Même si les écoles interdisent l'IA générative, les étudiants du monde entier apprendront quand même à utiliser cette technologie, car ils ne laisseront pas l'école interférer avec leur éducation.
Je reconnais (et je l'ai déjà fait) les problèmes auxquels les écoles sont confrontées (par exemple, le plagiat indétectable généralisé) mais je suis d'accord avec Ha.
Voici le dilemme : cette technologie ne va pas disparaître. Elle fait partie de l'avenir - une grande partie, probablement - et il est très important que les étudiants (et vous, moi, et tout le monde) l'apprennent. Interdire ChatGPT dans les écoles n'est pas une solution. Comme l'indique le tweet de Ha, il pourrait être plus dommageable de l'interdire que de l'autoriser.
Pourtant, les élèves qui l'utilisent pour tricher aux examens ou pour rédiger des dissertations feraient perdre du temps et des efforts à leurs professeurs et entraveraient leur développement sans s'en rendre compte. Comme le dit Lyle, ChatGPT peut empêcher les élèves d'acquérir "des compétences en matière de réflexion critique et de résolution de problèmes."
Quelle est la solution que j'entrevois (et beaucoup d'autres) ? Le système éducatif devra s'adapter. Bien que plus difficile, c'est la meilleure solution. Compte tenu de l'état de délabrement du système scolaire, il se peut très bien que ce soit une situation gagnant-gagnant pour les élèves et les enseignants. Bien sûr, il va de soi qu'en attendant, il vaut mieux que les enseignants aient accès à un détecteur fiable - mais n'en faisons pas une excuse pour éviter d'adapter l'éducation à ces temps changeants.
Le système éducatif a une grande marge d'amélioration. S'il n'a pas changé depuis tant d'années, c'est parce qu'il n'y avait pas d'incitations assez fortes pour le faire. ChatGPT nous donne une raison de réimaginer l'éducation, la seule pièce qui manque dans ce puzzle est la volonté de ceux qui décident.
L'IA est le nouvel internet
On le sent vraiment. Certains ont comparé l'IA au feu ou à l'électricité, mais ces inventions se sont intégrées lentement dans la société et sont trop éloignées dans le temps. Nous ne savons pas ce que cela fait. L'IA ressemble davantage à internet, elle va transformer le monde. Très rapidement.
J'ai essayé de capturer dans cet essai un futur qui est déjà plus un présent qu'un futur. Une chose est que des IA comme GPT-3 ou DALL-E existent, et une chose très différente est que tout le monde en a conscience. Ces hypothèses (désinformation, cyberpiratage, plagiat, etc.) ne sont plus. ) ne sont plus d'actualité. Elles se produisent aujourd'hui et nous verrons de plus en plus de mesures désespérées pour y mettre un terme (par exemple, la construction de détecteurs à la noix ou l'interdiction de l'IA).
Nous devons supposer que certaines choses vont changer pour toujours. Mais, dans certains cas, nous devrons peut-être défendre notre opinion (comme les artistes le font avec la conversion du texte en image ou comme les minorités l'ont fait auparavant avec les systèmes de classification). Qui que vous soyez, l'IA vous atteindra d'une manière ou d'une autre. Vous avez intérêt à être prêt.
source :
https://towardsdatascience.com/chatgpt-and-the-future-present-were-facing-9f2a1cfab0e9