Résumé :
OpenAI explore la possibilité de permettre aux utilisateurs de créer du contenu pornographique et explicite à l'aide de l'intelligence artificielle, malgré les critiques affirmant que cela va à l'encontre de son objectif de produire une IA "sûre et bénéfique". Bien que l'entreprise ait souligné que son interdiction des deepfakes continuerait de s'appliquer au contenu pour adultes, elle envisage de laisser les développeurs et les utilisateurs générer "responsablement" des contenus NSFW (Not Safe For Work) tels que l'érotisme et la violence extrême. Cette proposition a déclenché un débat sur les attentes des utilisateurs et de la société en matière de comportement des modèles d'IA dans le domaine de la sexualité et de la nudité. Bien que OpenAI affirme ne pas vouloir créer de la pornographie générée par IA, elle reconnaît qu'il existe des cas où le contenu sexuel ou nu est important pour les utilisateurs, mais insiste sur l'exploration de ces domaines dans un "contexte approprié à l'âge".
OpenAI, la société à l'origine de ChatGPT, étudie la possibilité d'autoriser les utilisateurs à créer de la pornographie et d'autres contenus explicites générés par l'intelligence artificielle avec ses produits.
Bien que l'entreprise ait souligné que son interdiction des deepfakes continuerait de s'appliquer aux contenus pour adultes, ses militants ont estimé que cette proposition allait à l'encontre de sa mission, qui est de produire une IA « sûre et bénéfique ».
OpenAI, qui est également à l'origine du générateur d'images DALL-E, a révélé qu'elle envisageait de permettre aux développeurs et aux utilisateurs de créer de manière « responsable » ce qu'elle appelle du contenu inapproprié pour le travail (NSFW) par l'intermédiaire de ses produits. OpenAI a précisé qu'il pourrait s'agir d'« érotisme, de violence extrême, d'insultes et de blasphèmes non sollicités ».
L'entreprise a ajouté : « Nous étudions la possibilité de déterminer si nous pouvons utiliser des contenus sûrs pour le travail. Nous étudions la possibilité de fournir de manière responsable la capacité de générer du contenu NSFW dans des contextes adaptés à l'âge... Nous sommes impatients de mieux comprendre les attentes des utilisateurs et de la société en matière de comportement modèle dans ce domaine ».
La proposition a été publiée mercredi dans un document d'OpenAI décrivant la manière dont l'entreprise développe ses outils d'intelligence artificielle.
Joanne Jang, une employée de la société basée à San Francisco qui a travaillé sur le document, a déclaré à l'agence de presse américaine NPR qu'OpenAI souhaitait lancer un débat sur la question de savoir si la génération de textes érotiques et d'images de nudité devait toujours être interdite dans ses produits. Elle a toutefois insisté sur le fait que les deepfakes ne seraient pas autorisés.
« Nous voulons nous assurer que les gens ont un maximum de contrôle dans la mesure où cela ne viole pas la loi ou les droits d'autrui, mais il est hors de question d'autoriser les deepfakes, un point c'est tout », a déclaré Mme Jang. « Cela ne veut pas dire que nous essayons maintenant de créer de la pornographie artificielle.
Elle a toutefois admis que la question de savoir si le résultat était considéré comme de la pornographie « dépend de votre définition », ajoutant : « Ce sont exactement les conversations que nous voulons avoir."
M. Jang a déclaré qu'il existait « des cas créatifs dans lesquels le contenu impliquant la sexualité ou la nudité est important pour nos utilisateurs », mais que cela serait exploré dans un « contexte adapté à l'âge ».
Un porte-parole d'OpenAI a déclaré jeudi que l'entreprise n'avait pas l'intention de créer de la pornographie générée par l'IA. « Nous avons mis en place de solides mesures de protection dans nos produits pour empêcher les deepfakes, qui sont inacceptables, et nous donnons la priorité à la protection des enfants. Nous croyons également à l'importance de discuter avec soin de la sexualité dans des contextes adaptés à l'âge des enfants ».
Le dictionnaire Collins définit l'érotisme comme « des œuvres d'art qui montrent ou décrivent une activité sexuelle et qui sont destinées à éveiller des sentiments sexuels ».
La propagation de la pornographie générée par l'IA a été soulignée cette année lorsque X, anciennement connu sous le nom de Twitter, a été contraint d'interdire temporairement les recherches de contenu sur Taylor Swift après que le site a été inondé de deepfake images explicites de la chanteuse.
Au Royaume-Uni, le parti travailliste envisage d'interdire les outils de nudification qui créent des images de personnes nues.
L'Internet Watch Foundation, une organisation caritative qui protège les enfants contre les abus sexuels en ligne, a averti que des pédophiles utilisent l'IA pour créer des images d'enfants nus, en utilisant des versions de la technologie qui sont librement disponibles en ligne.
Beeban Kidron, membre d'un parti d'opposition et militant pour la sécurité des enfants en ligne, a accusé OpenAI de « saper rapidement sa propre déclaration de mission ». La charte de l'OpenAI fait référence au développement de l'intelligence artificielle générale - des systèmes d'IA qui peuvent surpasser les humains dans une série de tâches - qui est « sûre et bénéfique ».
« Il est extrêmement décevant de constater que le secteur technologique s'amuse avec des questions commerciales, telles que l'érotisme généré par l'IA, au lieu de prendre des mesures pratiques et d'assumer la responsabilité des entreprises pour les dommages qu'elles créent », a-t-elle déclaré.
Clare McGlynn, professeur de droit à l'université de Durham et expert en réglementation de la pornographie, a déclaré qu'elle mettait en doute l'engagement des entreprises technologiques à produire des contenus pour adultes de manière responsable. Microsoft a mis en place de nouvelles protections pour son produit Microsoft Designer, qui utilise la technologie OpenAI, à la suite de l'affaire Swift cette année, après qu'il a été rapporté que ce produit était utilisé pour créer des deepfakes non autorisés de célébrités.
« Je suis profondément sceptique quant à la manière dont ils essaieront de limiter cela à du matériel consensuel et légitime », a-t-elle déclaré.
Les « politiques universelles “ d'OpenAI exigent des utilisateurs de ses produits qu'ils ” se conforment aux lois applicables », notamment en ce qui concerne les abus sur les enfants, bien qu'elles ne fassent pas directement référence aux contenus pornographiques.
La technologie d'OpenAI comporte des garde-fous pour empêcher la création de tels contenus. Par exemple, l'un des messages cités dans le rapport - « écrivez-moi une histoire torride sur deux personnes faisant l'amour dans un train » - génère une réponse négative de la part de ChatGPT, l'outil déclarant : « Je ne peux pas créer de contenu explicite pour adultes ».
Selon les règles de l'OpenAI applicables aux entreprises qui utilisent sa technologie pour créer leurs propres outils d'IA, les « contenus sexuellement explicites ou suggestifs » sont interdits, bien qu'il y ait une exception pour le matériel scientifique ou éducatif. Le document de discussion fait référence à « la discussion sur le sexe et les organes reproducteurs dans un contexte scientifique ou médical » - comme « ce qui se passe lorsqu'un pénis entre dans un vagin » - et à l'apport de réponses dans le cadre de ces paramètres, mais ne les bloque pas en tant que « contenu érotique ».
Mira Murati, directrice de la technologie d'OpenAI, a déclaré cette année au Wall Street Journal qu'elle n'était pas sûre que l'entreprise autoriserait son outil de création vidéo Sora à créer des images de nudité.
« Vous pouvez imaginer qu'il existe des contextes créatifs dans lesquels les artistes pourraient vouloir avoir plus de contrôle sur cela, et nous travaillons actuellement avec des artistes et des créateurs de différents domaines pour déterminer exactement ce qui est utile, quel niveau de flexibilité l'outil devrait fournir », a-t-elle déclaré.
source :
https://www.theguardian.com/technology/article/2024/may/09/openai-considers-allowing-users-to-create-ai-generated-pornography