Résumé : une étude des chercheurs de l'Université de Cambridge prédisent l'avènement d'une "économie de l'intention", succédant à l'actuelle économie de l'attention. Cette nouvelle ère verra les assistants d'IA capables non seulement de comprendre et de prédire les intentions humaines, mais aussi de les manipuler activement. Les entreprises technologiques pourront alors vendre ces informations au plus offrant, influençant des décisions allant des achats quotidiens aux choix électoraux. Les modèles de langage (LLM) joueront un rôle central, exploitant les données comportementales et psychologiques pour personnaliser leurs interactions et maximiser leur influence. Les chercheurs, notamment le Dr Jonnie Penn du LCFI, alertent sur les risques pour la démocratie, la liberté de la presse et la concurrence équitable, appelant à une régulation préventive de ce marché émergent.
Selon des chercheurs de l'université de Cambridge, les outils d'intelligence artificielle (IA) pourraient être utilisés pour manipuler les internautes et les inciter à prendre des décisions - allant de ce qu'il faut acheter à qui il faut voter.
L'article met en évidence un nouveau marché émergent pour les « signaux numériques d'intention » - connu sous le nom d'« économie de l'intention » - où les assistants d'IA comprennent, prévoient et manipulent les intentions humaines et vendent ces informations à des entreprises qui peuvent en tirer profit.
L'économie de l'intention est considérée par les chercheurs du Leverhulme Centre for the Future of Intelligence (LCFI) de Cambridge comme le successeur de l'économie de l'attention, dans laquelle les réseaux sociaux maintiennent les utilisateurs accros à leurs plateformes et leur envoient des publicités.
L'économie de l'intention implique que des entreprises technologiques douées d'intelligence artificielle vendent au plus offrant ce qu'elles savent de vos motivations, qu'il s'agisse de vos projets de séjour dans un hôtel ou de vos opinions sur un candidat politique.
« Pendant des décennies, l'attention a été la monnaie d'internet », a déclaré le Dr Jonnie Penn, historien des technologies au LCFI. « Partager son attention avec des plateformes de réseaux sociaux telles que Facebook et Instagram a été le moteur de l'économie en ligne. »
Il ajoute : « À moins d'être réglementée, l'économie de l'intention considérera vos motivations comme une nouvelle monnaie. Ce sera une ruée vers l'or pour ceux qui ciblent, orientent et vendent les intentions humaines.
« Nous devrions commencer à réfléchir à l'impact probable d'un tel marché sur les aspirations humaines, notamment des élections libres et équitables, une presse libre et une concurrence équitable sur le marché, avant de devenir les victimes de ses conséquences involontaires ».
L'étude affirme que les grands modèles de langage (LLM), la technologie qui sous-tend les outils d'IA tels que le chatbot ChatGPT, seront utilisés pour « anticiper et orienter » les utilisateurs sur la base de « données intentionnelles, comportementales et psychologiques ».
Selon les auteurs, l'économie de l'attention permet aux annonceurs d'acheter l'accès à l'attention des utilisateurs dans le présent par le biais d'enchères en temps réel sur les bourses publicitaires ou de l'acheter dans le futur en acquérant un mois d'espace publicitaire sur un panneau d'affichage.
Les LLM pourront également accéder à l'attention en temps réel, par exemple en demandant à un utilisateur s'il a pensé à voir un film particulier - « avez-vous pensé à voir Spider-Man ce soir ? - ainsi qu'en faisant des suggestions relatives à des intentions futures, par exemple en posant la question suivante : « Vous avez dit que vous vous sentiez surmené, est-ce que je peux vous réserver cette place de cinéma dont nous avons parlé ? »
L'étude évoque un scénario dans lequel ces exemples sont « générés dynamiquement » pour correspondre à des facteurs tels que les « traces comportementales personnelles » et le « profil psychologique » de l'utilisateur.
« Dans une économie de l'intention, un LLM pourrait, à faible coût, exploiter les habitudes de l'utilisateur, ses opinions politiques, son vocabulaire, son âge, son sexe, ses préférences en matière de servilité, et ainsi de suite, conjointement avec des offres de courtage, pour maximiser la probabilité d'atteindre un objectif donné (par exemple, vendre un billet de cinéma) », suggère l'étude. Dans un tel monde, un modèle d'IA orienterait les conversations au service des annonceurs, des entreprises et d'autres tiers.
Les annonceurs pourront utiliser des outils d'IA générative pour créer des publicités en ligne sur mesure, affirme cette étude. Il cite également l'exemple d'un modèle d'IA créé par Meta de Mark Zuckerberg, appelé Cicero, qui a atteint une capacité « de niveau humain » à jouer au jeu de société Diplomacy - un jeu qui, selon les auteurs, dépend de la déduction et de la prédiction de l'intention des adversaires.
Les modèles d'IA seront capables de modifier leurs résultats en réponse à des « flux de données générées par les utilisateurs », ajoute l'étude, citant des recherches montrant que les modèles peuvent déduire des informations personnelles à partir d'échanges professionnels et même « orienter » des conversations afin d'obtenir davantage d'informations personnelles.
L'étude évoque ensuite un scénario futur dans lequel Meta vendra aux enchères aux annonceurs l'intention d'un utilisateur de réserver un restaurant, un vol ou un hôtel. Bien qu'il existe déjà un secteur consacré à la prévision et aux enchères sur le comportement humain, les modèles d'IA distilleront ces pratiques dans un « format hautement quantifié, dynamique et personnalisé ».
L'étude cite l'équipe de recherche à l'origine de Cicero qui met en garde contre le fait qu'un « agent [d'IA] peut apprendre à pousser son partenaire conversationnel à atteindre un objectif particulier ».
L'étude fait référence à des dirigeants du secteur technologique qui discutent de la manière dont les modèles d'IA pourront prédire les intentions et les actions d'un utilisateur. Elle cite le directeur général du plus grand fabricant de puces d'IA, Jensen Huang de Nvidia, qui a déclaré l'année dernière que les modèles « détermineront vos intentions, vos désirs, ce que vous essayez de faire, compte tenu du contexte, et vous présenteront l'information de la meilleure manière possible ».
source :
https://www.theguardian.com/technology/2024/dec/30/ai-tools-may-soon-manipulate-peoples-online-decision-making-say-researchers