Caché dans les bases des générateurs d’images populaires intelligence artificielle il y a des milliers d’images de abus sexuel sur enfant, selon un nouveau rapport qui exhorte les entreprises à prendre des mesures pour remédier à une faille préjudiciable dans la technologie qu’elles ont construite.
Ces mêmes images ont permis aux systèmes d’intelligence artificielle (IA) de produire plus facilement des images réalistes et explicites de faux enfants, et également de transformer sur les réseaux sociaux des photos de vrais adolescents entièrement habillés en photos nues, à l’alarme des écoles et des autorités du monde entier. monde.
Jusqu’à récemment, Les chercheurs anti-abus pensaient que la seule façon dont certains outils d’IA non contrôlés produisaient des images de maltraitance d’enfants était essentiellement de combiner ce qu’ils avaient appris de deux groupes distincts d’images en ligne : la pornographie adulte et les photographies innocentes d’enfants.
Mais l’Observatoire Internet de Stanford a découvert plus de 3 200 images d’abus sexuels présumés sur des enfants dans la base de données géante d’intelligence artificielle LAION, un index d’images sous-titrées en ligne qui a été utilisé pour former les principaux générateurs d’images d’IA tels que Stable Diffusion. Le groupe de surveillance basé à l’Université de Stanford a travaillé avec le Centre canadien de protection de l’enfance et d’autres organismes de bienfaisance anti-abus pour identifier le matériel illégal et signaler les liens originaux vers les photographies aux autorités.
La réponse a été immédiate. Mercredi, à la veille de la publication du rapport du Stanford Internet Observatory, LAION a annoncé à l’Associated Press qu’il supprimait temporairement ses ensembles de données.
LAION, un acronyme pour le réseau ouvert d’intelligence artificielle à grande échelle à but non lucratif, a déclaré dans un communiqué que « a une politique de tolérance zéro à l’égard des contenus illégaux et que, par prudence, nous avons supprimé les ensembles de données LAION pour garantir leur sécurité avant de les republier. »
Bien que les images ne représentent qu’une fraction de l’index LAION de quelque 5,8 milliards d’images, le groupe de Stanford affirme que Cela influence probablement la capacité des outils d’IA à générer des résultats préjudiciables et à renforcer les abus antérieurs contre de vraies victimes qui apparaissent plusieurs fois.
Ce n’est pas un problème facile à résoudre, et cela revient au fait que de nombreux projets d’IA générative ont été « en fait précipités sur le marché » et rendus largement accessibles parce que le domaine est très compétitif, a déclaré David Thiel, directeur de la technologie à l’Observatoire de Stanford. Internet, auteur du rapport.
«Prendre pleinement part à l’Internet et utiliser cet ensemble de données pour former des modèles est quelque chose qui aurait dû être limité à une opération de recherche, et n’aurait pas dû être open source sans une attention beaucoup plus rigoureuse.Thiel a ajouté dans une interview.
L’un des principaux utilisateurs de LAION qui a contribué à façonner le développement de l’ensemble de données est la startup Stability AI, basée à Londres, qui a développé les modèles génératifs texte-image Stable Diffusion. Grâce aux nouvelles versions de Stable Diffusion, il est beaucoup plus difficile de créer du contenu préjudiciable, mais une ancienne version introduite l’année dernière – que Stability AI dit ne pas avoir rendue publique – est toujours intégrée dans d’autres applications et outils et est toujours « la modèle le plus populaire pour générer du contenu préjudiciable », selon le rapport de Stanford.
« Nous ne pouvons pas le reprendre. Ce modèle est entre les mains de nombreuses personnes sur leurs ordinateurs locaux », a déclaré Lloyd Richardson, directeur des technologies de l’information au Centre canadien de protection de l’enfance, qui gère la ligne d’assistance téléphonique canadienne pour signaler l’exploitation sexuelle en ligne.
Stability AI a déclaré mercredi que seules les versions divulguées de Stable Diffusion se trouvent sur ses serveurs et que « Depuis que nous avons pris en charge le développement exclusif de Stable Diffusion, Stability AI a pris des mesures proactives pour atténuer le risque d’utilisation abusive. »
« Ces filtres éliminent les contenus dangereux et les empêchent d’atteindre les modèles », a déclaré la société dans un communiqué préparé. « En supprimant ce contenu avant qu’il n’atteigne le modèle, nous pouvons empêcher ce dernier de générer du contenu non sécurisé. »
LAION a été créé par Christoph Schuhmann, un chercheur et professeur allemand, qui a déclaré à l’AP plus tôt cette année qu’une partie de la raison pour laquelle une telle base de données visuelle était rendue publique était de garantir que l’avenir du développement de l’IA ne soit pas contrôlé par une poignée de puissants. entreprises.
« Ce sera beaucoup plus sûr et beaucoup plus juste si nous pouvons le démocratiser afin que l’ensemble de la communauté des chercheurs et l’ensemble du public puissent en bénéficier », a-t-il ajouté.
Une grande partie des données de LAION proviennent d’une autre source, Common Crawl, un référentiel de données constamment collectées sur Internet ouvert, mais Rich Skrenta, PDG de Common Crawl, a déclaré qu’il appartenait « à » LAION d’analyser et de filtrer ce qu’il fallait avant de les utiliser. de celui-ci.
LAION a rapporté cette semaine avoir développé « filtres rigoureux » pour détecter et supprimer les contenus illégaux avant de publier ses ensembles de données et travaille toujours à améliorer ces filtres. Le rapport de Stanford reconnaît que les développeurs de LAION ont fait quelques tentatives pour filtrer le contenu explicite « mineur », mais ils auraient pu faire un meilleur travail s’ils avaient d’abord consulté des experts en sécurité des enfants.
De nombreux générateurs de texte en image sont dérivés d’une manière ou d’une autre de la base de données LAION, même si leur nature n’est pas toujours claire. OpenAI, développeur de DALL-E et ChatGPT, a déclaré qu’il n’utilisait pas LAION et avait apporté des ajustements à ses modèles pour rejeter les demandes de contenu sexuel impliquant des mineurs.
Google a créé Imagen, son modèle image-texte, basé sur un ensemble de données LAION, mais a décidé de ne pas le rendre public en 2022 après un audit de la base de données « a découvert un large éventail de contenus inappropriés, notamment des images pornographiques, des insultes racistes et des stéréotypes sociaux préjudiciables. »
Essayer de supprimer des données de manière rétroactive est difficile, c’est pourquoi l’Observatoire Internet de Stanford appelle à des mesures plus drastiques. La première est que quiconque a construit des ensembles de formation à partir de LAION-5B – du nom des plus de 5 milliards de paires image-texte qu’il contient – « les supprime ou travaille avec des intermédiaires pour nettoyer le matériel ». Une autre solution consiste à faire disparaître une ancienne version de Stable Diffusion de tous les recoins d’Internet, sauf les plus sombres.
« Les plateformes légitimes peuvent cesser d’en proposer des versions en téléchargement », surtout si elles sont fréquemment utilisées pour générer des images abusives et ne disposent pas de garanties pour les bloquer, a déclaré Thiel.
À titre d’exemple, Thiel a cité CivitAI, une plateforme privilégiée par les personnes qui créent de la pornographie générée par l’IA, mais qui, explique-t-il, manque de mesures de sécurité pour la comparer à la création d’images d’enfants. Le rapport appelle également la société d’IA Hugging Face, qui distribue des données de formation pour les modèles, à mettre en œuvre de meilleures méthodes de signalement et de suppression des liens vers du matériel abusif.
Hugging Face a déclaré qu’il travaillait régulièrement avec les régulateurs et les groupes de protection des enfants pour identifier et supprimer les contenus abusifs. CivitAI n’a pas répondu aux demandes de commentaires envoyées sur son site Web.
Le rapport de Stanford se demande également si des photographies d’enfants – y compris les plus inoffensives et innocentes – sont entrées dans les systèmes d’IA sans le consentement de leurs familles, sous la protection de la loi fédérale sur la protection de la vie privée en ligne des enfants.
Rebecca Portnoff, directrice de la science des données chez Thorn, une organisation qui développe des produits contre les abus sexuels sur enfants, a déclaré que son agence avait mené des recherches montrant que la prévalence des images générées par l’IA parmi les agresseurs était faible mais en constante augmentation.
Les développeurs peuvent atténuer ces dommages en garantissant que les ensembles de données qu’ils utilisent pour développer des modèles d’IA sont exempts de matériel abusif. Portnoff a déclaré qu’il existe également des possibilités d’atténuer les utilisations nocives à l’avenir, lorsque les modèles seront déjà en circulation.
Actuellement, les entreprises technologiques et les groupes de protection de l’enfance attribuent aux vidéos et aux images un « hachage » – une signature numérique unique – pour suivre et supprimer le matériel pédopornographique. Selon Portnoff, le même concept peut être appliqué aux modèles d’IA mal utilisés.
« Cela ne se produit pas actuellement », a-t-il déclaré. « Mais c’est quelque chose qui, à mon avis, peut et doit être fait. »
