Il y a deux semaines, de fausses images pornographiques de Taylor Swift se sont répandues comme un feu sur X. Il a fallu 19 heures à la plateforme pour suspendre le compte qui avait publié le contenu après qu'il ait accumulé plus de 27 millions de vues et plus de 260 000 likes.
Cela m'a fait réfléchir.
Deux cent soixante mille personnes ont regardé le contenu, savaient qu'il était faux et n'ont pas eu honte de partager leur joie publiquement. Ouah...
J'ai déjà écrit sur les fausses idées que l'on se fait de la technologie du deepfake. Par exemple, on nous dit que la plupart des deepfakes ciblent les hommes politiques, mais en réalité, 96 % des deepfakes sont de nature sexuelle non consentie, et 99 % d'entre eux sont réalisés par des femmes. J'ai également parlé du vide juridique qui régit l'utilisation de cette technologie.
Cependant, jusqu'à présent, je ne m'étais pas penchée sur l'écosystème qui sous-tend les deepfakes pornographiques : l'industrie et les spectateurs eux-mêmes.
Remédions à cette lacune et faisons connaissance avec les principaux acteurs.
Pourquoi est-il si facile d'accéder à des deepfakes pornographiques ?
On nous a fait croire que les deepfakes pornographiques étaient difficiles à créer ou à trouver.
C'est faux et faux.
- La création d'une vidéo pornographique deepfake de 60 secondes prend moins de 25 minutes et ne coûte rien. Vous n'avez besoin que d'une image de visage nette.
- Je peux confirmer que lorsque l'on cherche sur Google « deepfakes p*rn », le premier résultat est le site web de MrDeepFake - l'un des sites web les plus célèbres dans le monde du deepfake p*rn.
En outre, le risque lié à l'hébergement du contenu est minime.
La section 230, adoptée en 1996, fait partie de la loi américaine sur la décence des communications (Communications Decency Act). Elle était destinée à protéger le blocage et le filtrage privés des contenus offensants.
Toutefois, elle est devenue l'alliée des « deepfakes » du porno, car elle accorde aux plateformes en ligne une immunité de responsabilité civile pour les contenus de tiers - elles ne sont pas responsables des contenus qu'elles hébergent. Elles peuvent le retirer dans certaines circonstances, par exemple si le fournisseur ou l'utilisateur considère que le contenu est obscène, lubrique, lascif, répugnant, excessivement violent, harcelant ou autrement répréhensible.
Ainsi, si l'article 230 ne protège pas les plateformes qui créent des contenus illégaux ou préjudiciables, il les exonère de toute responsabilité à l'égard des contenus de tiers.
Qui gagne de l'argent avec les deepfakes pornographiques ?
Nombreux sont ceux qui profitent de cette industrie naissante :
Les créateurs, les sites de deepfake p*rn, les fabricants de logiciels, les fournisseurs d'infrastructures, les places de marché et les organismes de paiement.
Les créateurs
Ils tirent leurs revenus de deux sources principales :
- La création de deepfakes pornographiques à la demande.
- Vendre l'accès à des « bibliothèques contenant des milliers de vidéos pour des frais d'abonnement aussi modiques que 5 $ par mois ».
Deepfake pornographiques
Jetons un coup d'œil à trois sites de deepfake porno, chacun avec un modèle économique différent.
MrDeepFakes
Quelques points forts du fonctionnement de cette plateforme
- Les vidéos durent quelques minutes.
- Génère des revenus grâce à la publicité.
- Elle s'appuie sur une audience importante que son positionnement dans les résultats de recherche de Google a favorisée.
- Ses forums servent de place de marché pour les créateurs et les clients peuvent faire des demandes.
Fan-Topia
Leur modèle économique
- Elle se présente sur Instagram comme « la plateforme de créateurs de contenus pour adultes la plus rémunératrice ».
- Paywall.
- Les clients peuvent être redirigés depuis des sites comme MrDeepFakes après avoir cliqué sur les profils des créateurs de deepfakes. Une fois sur Fan-Topia, ils peuvent payer l'accès aux bibliothèques de vidéos deepfake avec leur carte de crédit.
Pornhub
En 2018, le géant de la pornographie sur internet Pornhub a banni le deepfake porn de son site. Cependant, ce n'est pas toute la vérité.
- Lorsque Pornhub supprime les vidéos pornographiques deepfake de son site, il laisse les liens inactifs comme des fils d'Ariane qui servent d'appât à clics pour attirer du trafic sur le site.
- Les utilisateurs peuvent faire de la publicité pour la création et la monétisation de deepfakes pornographiques sur le site.
- Ils annoncent les deepfakes par l'intermédiaire de TrafficJunky, le portail publicitaire par lequel Pornhub tire tous ses revenus de la publicité.
- Pornhub fournit une base de données de contenus abusifs qui facilite la création de deepfakes pornographiques.
Les développeurs de logiciels
Voici quelques exemples :
- Stability AI a rendu son modèle Stable Diffusion - un modèle texte-image d'apprentissage profond - open-source, de sorte que n'importe quel développeur peut le modifier à des fins telles que la création de deepfakes pornographiques. Et les forums où pullulent les créateurs de deepfake porno regorgent de conseils sur la manière d'utiliser les modèles.
- Le deepfake porno de Taylor Swift a été créé à l'aide de Microsoft Designer, l'application de conception graphique de Microsoft qui exploite DALLE-3 - un autre modèle texte-image - pour générer des images réalistes. Les utilisateurs ont trouvé des failles dans les garde-fous qui empêchent les invites inappropriées de mentionner explicitement la nudité ou des personnalités publiques.
Fournisseurs d'infrastructure
Les dépôts
GitHub est une plateforme de développement appartenant à Microsoft qui permet aux développeurs de créer, stocker, gérer et partager leur code. C'est aussi
- C'est l'un des 10 premiers sites de référence pour Mr DeepFakes.
- Une série de guides et d'hyperliens vers (a) des forums communautaires de deepfakes sexuels dédiés à la création, à la collaboration et à la marchandisation de technologies médiatiques synthétiques, et (b) des sites web et des applications de « nudification » utilisant l'IA qui prennent des images de femmes et les « dépouillent » de leurs vêtements.
- Un dépôt du code source du logiciel a été utilisé pour créer 95 % des deepfakes, DeepFaceLab, et d'autres codes similaires tels que DeepNude et Unstable Diffusion.
- Une passerelle pour les mineurs vers les codes sources des deepfakes et le contenu connexe, étant donné le programme de partenariat mondial de Github avec les écoles et les universités et ses conditions d'utilisation qui stipulent que les utilisateurs peuvent avoir jusqu'à 13 ans.
Les hébergeurs web
Selon une étude de Bloomberg, 13 des 20 principaux sites web de deepfake utilisent actuellement des services d'hébergement web de Cloudflare. Amazon.com fournit des services d'hébergement web pour trois outils de deepfake populaires répertoriés sur plusieurs sites web, dont Deepswap.ai.
Les marchés
Etsy
En décembre 2023, des images pornographiques générées par l'IA d'au moins 55 célébrités étaient disponibles à l'achat sur Etsy, une société américaine de commerce électronique spécialisée dans les articles faits à la main ou vintage et les fournitures pour l'artisanat.
En outre, une recherche de « deepfake porn » sur le site web a donné environ 1 500 résultats. Certains de ces résultats étaient pornographiques, d'autres proposaient des services non explicites pour « créer votre propre vidéo deepfake ».
Les magasins d'applications
L'App Store d'Apple et Google Play hébergent des applications qui peuvent être utilisées pour créer du deepfake porn. Certaines d'entre elles sont accessibles à toute personne âgée de plus de 12 ans.
Les organismes de paiement
- Sur la page de paiement de Fan-Topia, les logos de Visa et Mastercard apparaissent à côté des champs où les utilisateurs peuvent saisir les informations relatives à leur carte de crédit. Les achats sont effectués par l'intermédiaire d'un prestataire de services de paiement en ligne appelé Verotel, qui est basé aux Pays-Bas et fait de la publicité auprès de ce qu'il appelle des webmestres « à haut risque » proposant des services pour adultes.
- L'application web MakeNude.ai, qui permet aux utilisateurs de « voir n'importe quelle fille sans vêtements » en « un seul clic », s'est associée à Monobank, basée en Ukraine, et à Beta Transfer Kassa, basée à Dublin, qui opère sur des « marchés à haut risque ».
- Les créateurs de Deepfake utilisent également PayPal et des portefeuilles de cryptomonnaies pour accepter les paiements. Jusqu'à ce que Bloomberg s'adresse à Patreon en août dernier, l'entreprise prenait en charge le paiement de l'un des outils de nudification les plus complets, qui acceptait plus de 12 500 dollars par mois.
Les autres facilitateurs
Les moteurs de recherche
Entre 50 et 80 % des personnes qui recherchent des deepfakes pornographiques trouvent leur bonheur sur les sites web et les outils de création de vidéos ou d'images par le biais des moteurs de recherche. Par exemple, en juillet 2023, environ 44 % des visites sur Mrdeepfakes.com provenaient de Google.
NBC News a recherché la combinaison d'un nom et du mot « deepfakes » avec 36 célébrités féminines sur Google et Bing. L'examen des résultats a révélé la présence d'images « deepfakes “ non consenties et de liens vers des vidéos ” deepfakes » dans les premiers résultats de Google pour 34 de ces recherches et dans les premiers résultats de Bing pour 35 d'entre elles.
En ce qui concerne les victimes, les services de Google et de Microsoft exigent que les internautes soumettent manuellement les URL dans leurs demandes de suppression de contenu.
Réseaux sociaux
Plus de 230 publicités sexuelles deepfake utilisant les visages d'Emma Watson et de Scarlett Johansson ont été diffusées sur Facebook et Instagram en mars 2023. Il a fallu deux jours à Meta pour retirer les publicités après avoir été contacté par NBC.
Les utilisateurs de X, anciennement connu sous le nom de Twitter, font régulièrement circuler des contenus truqués. Bien que la plateforme ait des politiques interdisant les médias manipulés, entre le premier et le deuxième trimestre 2023, le nombre de tweets provenant de huit hashtags associés à ce contenu a augmenté de 25 % pour atteindre 31 400.
Qui regarde les deepfakes pornographiques ?
Dans son rapport « 2023 State of Deepfakes », Home Security Heroes indique que
- Il y avait un total de 95 820 vidéos deepfake en ligne en 2023.
- Les dix principaux sites dédiés au deepfake porno avaient un trafic mensuel de 35 millions en 2023.
Qu'en est-il des consommateurs de deepfake porn ?
Une enquête a été menée auprès de 1 522 hommes américains qui avaient regardé de la pornographie au moins une fois au cours des six derniers mois.
En voici les grandes lignes :
- 48 % des personnes interrogées ont déclaré avoir regardé du deepfake pornography au moins une fois.
- 74 % des utilisateurs de deepfake pornography ne se sentent pas coupables. Principales raisons pour lesquelles ils n'ont pas éprouvé de remords ? 36 % ne connaissaient pas la personne, 30 % pensaient que cela ne faisait de mal à personne, 29 % considéraient qu'il s'agissait d'une version réaliste par rapport à leur imaginaire et 28 % pensaient que ce n'était pas très différent du porno ordinaire.
Cela peut nous amener à penser que ces « observateurs » considéraient les deepfakes pornographiques comme inoffensifs. Jusqu'à ce que l'on apprenne que :
- 73 % des participants à l'enquête voudraient signaler aux autorités qu'un de leurs proches a été victime d'un deepfake porn.
- 68 % ont indiqué qu'ils se sentiraient choqués et indignés par la violation de la vie privée et du consentement d'une personne dans le cadre de la création de contenus pornographiques « deepfake ».
En résumé, les deepfakes non consensuels sont inoffensifs jusqu'à ce que leur mère, leur compagne ou leur fille en soit victime.
Et après ?
Comme pour d'autres formes de comportement misogyne - viol, violence de genre, discrimination sexuelle -, lorsque nous parlons de pornographier deepfake, nous nous intéressons aux conséquences : les victimes et la sanction.
Et si nous nous concentrions plutôt sur le bas de la pyramide - les consommateurs ?
- Pouvons-nous imaginer une société où les vidéos de deepfake porn de Taylor Swift n'auraient eu aucune vue et aucun « like » ?
- Que faudra-t-il faire pour élever les hommes afin qu'ils ressentent de l'indignation - plutôt qu'une curiosité malsaine, de la convoitise et un désir de vengeance - face à l'opportunité de regarder et d'acheter du deepfake porno ?
- Pourquoi ne pas croire que les deepfakes pornographiques sont nocifs même s'ils ne montrent pas leur sœur, leur mère ou leur femme ?
Comme pour les biens matériels, les consommateurs ont le pouvoir de transformer l'offre. Pouvons-nous collectivement ouvrir la voie à un avenir numérique responsable ?
source :
https://code.likeagirl.io/inside-the-digital-underbelly-the-lucrative-world-of-deepfake-porn-84150bff4a77#bypass