Des modèles d'IA conçus pour simuler étroitement la voix d'une personne permettent à des escrocs d'imiter plus facilement des membres d'une famille et d'escroquer des milliers de dollars à des personnes vulnérables, a rapporté le Washington Post.
La sophistication évoluant rapidement, certains logiciels d'IA générateurs de voix n'ont besoin que de quelques phrases pour générer de manière convaincante un discours qui transmet le son et le ton émotionnel de la voix d'un orateur, tandis que d'autres solutions n'ont besoin que de trois secondes. Pour les personnes visées, qui sont souvent des personnes âgées, selon le Post, il peut être de plus en plus difficile de détecter qu'une voix est artificielle, même lorsque les circonstances d'urgence décrites par les escrocs semblent invraisemblables.
Les progrès technologiques semblent faciliter l'exploitation des pires craintes des gens et effrayer les victimes qui ont déclaré au Post avoir ressenti une "horreur viscérale" en entendant ce qui semblait être des appels directs d'amis ou de membres de leur famille ayant un besoin urgent d'aide. Un couple a envoyé 15 000 dollars à un escroc par l'intermédiaire d'un terminal bitcoin après avoir cru qu'il avait parlé à son fils. La voix générée par l'IA leur a dit qu'il avait besoin de frais juridiques après avoir été impliqué dans un accident de voiture qui a tué un diplomate américain.
Selon la Commission fédérale du commerce, les escroqueries dites à l'imposteur sont extrêmement courantes aux États-Unis. Il s'agit du type de fraude le plus fréquemment signalé en 2022 et qui a généré les deuxièmes pertes les plus importantes pour les victimes. Sur 36 000 signalements, plus de 5 000 victimes ont été escroquées de 11 millions de dollars par téléphone.
Comme ces escroqueries à l'imposture peuvent être organisées à partir de n'importe quel endroit du monde, il est extrêmement difficile pour les autorités de les combattre et d'inverser cette tendance inquiétante, a rapporté le Post. Non seulement il est difficile de retracer les appels, d'identifier les escrocs et de récupérer les fonds, mais il est également parfois difficile de déterminer quels organismes sont compétents pour enquêter sur des cas individuels lorsque les escrocs opèrent à partir de différents pays. Même lorsqu'il est évident quelle agence doit enquêter, certaines agences sont actuellement mal équipées pour faire face au nombre croissant d'usurpations d'identité.
Ars n'a pas pu joindre immédiatement la FTC pour un commentaire. Will Maxson, directeur adjoint de la division des pratiques de marketing de la FTC, a déclaré au Post que la sensibilisation aux escroqueries reposant sur des simulateurs vocaux d'IA constituait probablement la meilleure défense des consommateurs à l'heure actuelle. Il est recommandé de traiter avec scepticisme toute demande d'argent liquide. Avant d'envoyer des fonds, essayez de contacter la personne qui semble demander de l'aide par d'autres moyens qu'un appel vocal.
Mesures de protection contre l'usurpation de la voix par l''IA
Les outils de modélisation vocale de l'IA ont été utilisés pour améliorer la synthèse vocale, créer de nouvelles possibilités d'édition vocale et développer la magie du cinéma en clonant des voix célèbres comme celle de Dark Vador. Mais la possibilité de produire facilement des simulations vocales convaincantes a déjà provoqué des scandales, et personne ne sait qui est à blâmer en cas d'utilisation abusive de cette technologie.
Au début de l'année, des réactions négatives ont été enregistrées lorsque certains membres de 4chan ont créé de fausses voix de célébrités tenant des propos racistes, offensants ou violents. Il est alors apparu clairement que les entreprises devaient envisager d'ajouter des garanties supplémentaires pour empêcher l'utilisation abusive de la technologie, selon Vice, ou risquer d'être tenues pour responsables de dommages importants, tels que la ruine de la réputation de personnes célèbres.
Les tribunaux n'ont pas encore décidé si les entreprises seront tenues pour responsables des préjudices causés par la technologie de la voix artificielle - ou toute autre technologie d'IA de plus en plus populaire, comme ChatGPT - où les risques de diffamation et de désinformation semblent augmenter.
Il se pourrait toutefois que les tribunaux et les autorités de réglementation soient de plus en plus sollicités pour contrôler l'IA, car de nombreuses entreprises semblent mettre sur le marché des produits d'IA sans être pleinement conscientes des risques qu'ils comportent.
À l'heure actuelle, certaines entreprises ne semblent pas disposées à ralentir le lancement de fonctions d'IA populaires, y compris celles, controversées, qui permettent aux utilisateurs d'imiter les voix de célébrités. Tout récemment, Microsoft a lancé une nouvelle fonctionnalité dans le cadre de son aperçu de Bing AI, qui peut être utilisée pour imiter des célébrités, a rapporté Gizmodo. Avec cette fonctionnalité, Microsoft semble tenter d'éviter tout scandale en limitant ce que les voix de célébrités imposées peuvent être amenées à dire.
Microsoft n'a pas répondu à la demande de commentaire d'Ars sur l'efficacité des mesures de protection visant à empêcher l'émulateur de voix de célébrités de générer des propos offensants. Gizmodo a souligné que, comme de nombreuses entreprises désireuses de profiter de la fascination généralisée pour les outils d'IA, Microsoft s'appuie sur ses millions d'utilisateurs pour tester son "IA encore dysfonctionnelle", qui peut apparemment encore être utilisée pour générer des discours controversés en les présentant comme des parodies. L'avenir nous dira dans quelle mesure les premières solutions sont efficaces pour atténuer les risques.
En 2021, la FTC a publié des lignes directrices sur l'IA, indiquant aux entreprises que les produits devaient "faire plus de bien que de mal" et que les entreprises devaient être prêtes à se tenir responsables des risques liés à l'utilisation des produits. Plus récemment, le mois dernier, la FTC a déclaré aux entreprises : "Vous devez connaître les risques et l'impact raisonnablement prévisibles de votre produit d'IA avant de le mettre sur le marché".
source :
https://arstechnica.com/tech-policy/2023/03/rising-scams-use-ai-to-mimic-voices-of-loved-ones-in-financial-distress/