Résumé : Google a dévoilé son modèle d'IA PaliGemma 2, capable d'analyser des images et de détecter des émotions, allant au-delà de l'identification des objets pour décrire des actions et des sentiments dans des scènes. Cependant, des experts soulignent les risques de biais et de fausses interprétations, car l'identification des émotions humaines est complexe et subjective. Les systèmes d'IA de détection des émotions sont souvent peu fiables et peuvent être discriminants, notamment en raison de différences culturelles et raciales. De plus, l’utilisation de telles technologies suscite des inquiétudes concernant leur abus dans des contextes sensibles comme l’embauche ou la surveillance.
Google annonce que sa nouvelle famille de modèles d'IA possède une caractéristique surprenante : la capacité d'« identifier » les émotions.
Annoncée jeudi, la famille de modèles PaliGemma 2 peut analyser des images, ce qui permet à l'IA de générer des légendes et de répondre à des questions sur les personnes qu'elle « voit » sur les photos.
« PaliGemma 2 génère des légendes détaillées et contextuelles pour les images “, écrit Google dans un billet de blog partagé avec TechCrunch, ”allant au-delà de la simple identification d'objets pour décrire les actions, les émotions et la description générale de la scène ».
La reconnaissance des émotions ne fonctionne pas directement, et PaliGemma 2 doit être perfectionné à cette fin. Néanmoins, les experts avec lesquels TechCrunch s'est entretenu se sont montrés alarmés par la perspective d'un système de détection des émotions accessible à tous.
« C'est très troublant pour moi », a déclaré Sandra Wachter, professeur d'éthique des données et de l'IA à l'Oxford Internet Institute, à TechCrunch. Je trouve problématique de supposer que nous pouvons « lire » les émotions des gens. C'est comme demander des conseils à une boule magique ».
Depuis des années, les startups et les géants de la technologie tentent de construire une IA capable de détecter les émotions pour toutes sortes d'applications, de la formation à la vente à la prévention des accidents. Certains prétendent y être parvenus, mais la science repose sur des bases empiriques fragiles.
La majorité des systèmes de détection des émotions s'inspirent des premiers travaux de Paul Ekman, un psychologue qui a théorisé que les êtres humains partagent six émotions fondamentales : la colère, la surprise, le dégoût, la joie, la peur et la tristesse. Des études ultérieures ont toutefois mis en doute l'hypothèse d'Ekman, en démontrant qu'il existe des différences majeures dans la manière dont les personnes de différents milieux expriment ce qu'elles ressentent.
« La détection des émotions n'est pas possible en général, parce que les gens ressentent les émotions de manière complexe », a déclaré à TechCrunch Mike Cook, chercheur au King's College de Londres, spécialisé dans l'IA. « Bien sûr, nous pensons pouvoir dire ce que les autres ressentent en les regardant, et de nombreuses personnes ont essayé au fil des ans, comme les agences d'espionnage ou les sociétés de marketing. Je suis sûr qu'il est absolument possible de détecter certains indicateurs génériques dans certains cas, mais ce n'est pas quelque chose que nous pourrons jamais complètement 'résoudre'. »
La conséquence prévisible est que les systèmes de détection des émotions ont tendance à être peu fiables et biaisés par les hypothèses de leurs concepteurs. Dans une étude du MIT datant de 2020, des chercheurs ont montré que les modèles d'analyse des visages pouvaient développer des préférences involontaires pour certaines expressions, comme le sourire. Des travaux plus récents suggèrent que les modèles d'analyse émotionnelle attribuent davantage d'émotions négatives aux visages des Noirs qu'à ceux des Blancs.
Google affirme avoir mené des « tests approfondis “ pour évaluer les préjugés démographiques dans PaliGemma 2, et avoir constaté ” de faibles niveaux de toxicité et de propos injurieux » par rapport aux références de l'industrie. Mais la société n'a pas fourni la liste complète des critères de référence qu'elle a utilisés, ni indiqué quels types de tests ont été effectués.
Le seul benchmark que Google a divulgué est FairFace, un ensemble de dizaines de milliers de photos de personnes. L'entreprise affirme que PaliGemma 2 a obtenu de bons résultats à FairFace. Toutefois, certains chercheurs ont critiqué ce test, estimant qu'il s'agissait d'une mesure biaisée, car FairFace ne représente qu'une poignée de groupes raciaux.
« L'interprétation des émotions est une question tout à fait subjective qui va au-delà de l'utilisation d'aides visuelles et qui est fortement ancrée dans un contexte personnel et culturel », a déclaré Heidy Khlaaf, scientifique en chef de l'IA à l'AI Now Institute, une organisation à but non lucratif qui étudie les implications sociétales de l'intelligence artificielle. « En dehors de l'IA, la recherche a montré que nous ne pouvons pas déduire les émotions à partir des seuls traits du visage.
Les systèmes de détection des émotions ont suscité l'ire des régulateurs étrangers, qui ont cherché à limiter l'utilisation de la technologie dans des contextes à haut risque. La loi sur l'IA, principal texte législatif sur l'IA dans l'UE, interdit aux écoles et aux employeurs de déployer des détecteurs d'émotions (mais pas aux organismes chargés de l'application de la loi).
La plus grande appréhension concernant les modèles ouverts comme PaliGemma 2, qui est disponible auprès d'un certain nombre d'hébergeurs, y compris la plateforme de développement d'IA Hugging Face, est qu'ils soient utilisés de manière abusive ou incorrecte, ce qui pourrait conduire à des préjudices dans la réalité.
« Si cette soi-disant identification émotionnelle est fondée sur des présomptions pseudo-scientifiques, il y a des implications significatives dans la façon dont cette capacité peut être utilisée pour renforcer - et faussement - la discrimination contre les groupes marginalisés, comme dans l'application de la loi, les ressources humaines, la gouvernance des frontières, et ainsi de suite », a déclaré M. Khlaaf.
Interrogé sur les dangers de la diffusion publique de PaliGemma 2, un porte-parole de Google a déclaré que l'entreprise se tenait à ses tests de « préjudice de représentation » en ce qui concerne la réponse aux questions visuelles et le sous-titrage. « Nous avons mené des évaluations solides des modèles PaliGemma 2 en ce qui concerne l'éthique et la sécurité, y compris la sécurité des enfants et la sécurité du contenu », a-t-il ajouté.
M. Wachter n'est pas convaincu que cela suffise.
« L'innovation responsable signifie que l'on pense aux conséquences dès le premier jour où l'on entre dans son laboratoire et que l'on continue à le faire tout au long du cycle de vie d'un produit », a-t-elle déclaré. « Je peux imaginer une myriade de problèmes potentiels [avec des modèles comme celui-ci] qui peuvent conduire à un avenir dystopique, où vos émotions déterminent si vous obtenez un emploi, un prêt, et si vous êtes admis à l'université ».
source :
https://techcrunch.com/2024/12/05/google-says-its-new-open-models-can-identify-emotions-and-that-has-experts-worried/