Les images d’enfants générées par l’IA sur TikTok et Instagram deviennent des aimants pour de nombreuses personnes ayant un intérêt sexuel pour les mineurs. Mais lorsque ces contenus sont légaux et représentent de fausses personnes, ils tombent dans une zone grise désordonnée et troublante.
L’article suivant contient des discussions sur les contenus dérangeants des médias sociaux.
Les filles sur ces photos de TikTok et d’Instagram ont l’air d’avoir cinq ou six ans, ou tout au plus treize ans. Elles sont photographiées en dentelle et en cuir, en bikini et en crop top. Elles sont habillées de manière suggestive en infirmières, super-héros, ballerines et soubrettes. Certaines portent des oreilles de lapin ou des cornes de diable, d’autres des nattes et des lunettes surdimensionnées. Elles sont noires, blanches et asiatiques, blondes, rousses et brunes. Elles ont toutes été créées par l’IA et sont devenues des aimants qui attirent l’attention d’un public troublé sur certaines des plus grandes applications de médias sociaux du monde – des hommes plus âgés.
« L’IA crée de grandes œuvres d’art : J’aimerais avoir une jolie petite vierge comme celle-là dans les mains pour la faire mienne », a commenté un utilisateur de TikTok à propos d’un post récent de jeunes filles blondes en tenue de soubrette, avec des nœuds autour du cou et des fleurs dans les cheveux.
« Si c’est généré par l’IA, est-ce que cela me rend mauvais de dire qu’elle est sexy comme tout ? », a écrit un autre utilisateur de TikTok sur un diaporama de petites filles entièrement vêtues dans des costumes de Spider-Man. « Elle n’est pas réelle, mais j’ai beaucoup d’imagination ».
« Il ne devrait pas y avoir de mal dans les deux cas », a répondu un autre, dont le nom d’utilisateur contenait « p3do », ce qui peut être un langage algospeak, ou langage codé, pour « pedo ».
« Vous ne pouvez pas la violer parce qu’il s’agit d’une image d’IA », a ajouté un autre.
Des remarques similaires ont inondé les photos d’enfants issus de l’IA sur Instagram. « J’adorerais prendre son innocence même si c’est une fausse image », a écrit une personne sur un post d’une petite enfant pâle habillée en mariée. Sur un autre, d’une jeune fille en short, le même utilisateur a commenté « sa mignonne paire de [seins] de petite taille », représentée par deux emojis de pomme, « et sa parfaite et innocente part de tarte aux cerises en bas ». Et sur la photo d’une préadolescente en bretelles spaghetti, un certain « Gary » a déclaré : « de jolies petites têtes. Quand elle sera plus grande, ce seront des melons de bonne taille ».
« Ça a l’air délicieux. » « Vous livrez à domicile ? » « L’âge parfait pour se faire exploiter. » « Je veux ce bébé adorable. » « Pouvez-vous faire un test où elle saute de mon téléphone dans mon lit ? », ont dit d’autres personnes sur TikTok et Instagram. Forbes a trouvé des centaines de messages et de commentaires de ce type sur des images d’enfants générées par l’IA sur les plateformes à partir de 2024 seulement. Nombre d’entre eux étaient associés à des tubes musicaux – comme « Texas Hold ‘Em » de Beyonce, « Shake It Off » de Taylor Swift et « Fast Car » de Tracy Chapman – pour les aider à toucher davantage de spectateurs.
Les prédateurs d’enfants rôdent dans la plupart des grandes applications de médias sociaux, où ils peuvent se cacher derrière des écrans et des noms d’utilisateur anonymes, mais la popularité de TikTok et d’Instagram auprès des adolescents et des mineurs en a fait des destinations de choix. Et bien que la lutte des plateformes pour réprimer les contenus pédopornographiques soit antérieure au boom actuel de l’IA, les générateurs d’images par l’IA permettent aux prédateurs de trouver ou de créer encore plus facilement ce qu’ils recherchent.
Ces outils ont entraîné une recrudescence du matériel pédopornographique généré par l’IA, qui est illégal même s’il est faux. Mais les images découvertes dans le cadre de ce reportage se situent dans une zone grise. Elles ne sont pas explicites, mais elles sont sexualisées. Elles mettent en scène des mineurs, mais pas de vrais mineurs. Elles semblent être légales, mais les commentaires qu’elles contiennent suggèrent une intention dangereuse. Les experts en sécurité des enfants et en criminalistique les ont décrits comme des portails vers des activités bien plus sombres et potentiellement criminelles. Cette situation soulève des questions dans les domaines de la technologie et de l’application de la loi quant à la manière de traiter le fléau des fausses images suggestives d’enfants qui n’existent pas – ou si, si elles ne sont pas explicites et légales, il convient de s’en préoccuper tout court.
Les entreprises technologiques sont tenues, en vertu de la loi fédérale, de signaler toute suspicion d’exploitation sexuelle d’enfants sur leurs plateformes au National Center for Missing and Exploited Children (Centre national pour les enfants disparus et exploités), une organisation à but non lucratif qui transmet les informations relatives à ces activités illégales aux autorités chargées de l’application de la loi. Mais ils ne sont pas obligés de signaler ou de supprimer des images comme celles décrites dans cet article. Néanmoins, le NCMEC a déclaré à Forbes qu’il estimait que les entreprises de médias sociaux devaient les retirer, même si elles étaient légales.
« Ces images sont toutes formées à partir d’images d’enfants réels, qu’elles soient représentées dans leur intégralité ou non, de sorte que le NCMEC ne voit pas vraiment ce côté de l’argument selon lequel il existe un monde où cela est acceptable », a déclaré Fallon McNulty, directeur de la CyberTipline de l’organisation, son centre de signalement pour les entreprises technologiques. Une étude récente de l’Observatoire de l’Internet de Stanford a révélé que l’un des outils d’IA générative texte-image les plus populaires sur le marché aujourd’hui, Stable Diffusion 1.5, avait été formé sur des CSAM, de vrais enfants, récupérés sur l’ensemble du web.
« Compte tenu de certains commentaires suscités par ces images, il ne semble pas que le public qui les examine, les ingère et les consomme soit innocent », a ajouté M. McNulty. « J’espère qu’ils retirent ce contenu et qu’ils ne créent pas un espace sur leurs plates-formes pour que des individus sexualisent des enfants.”
Les images d’enfants générées par l’IA ont été associées à des tubes de Taylor Swift, Beyonce et Tracy Chapman pour leur permettre d’atteindre un plus grand nombre de spectateurs.
TikTok et Instagram ont définitivement supprimé les comptes, les vidéos et les commentaires mentionnés dans cet article après que Forbes a posé des questions à leur sujet ; les deux sociétés ont déclaré qu’ils violaient les règles de la plateforme.
« TikTok a mis en place des politiques strictes contre le contenu généré par l’IA et destiné aux mineurs, afin de protéger les jeunes et de rendre TikTok inhospitalier pour les comportements qui cherchent à leur nuire », a déclaré le porte-parole Jamie Favazza. La politique de l’entreprise en matière de médias synthétiques, instaurée il y a plus d’un an et mise à jour vendredi, interdit ce type de contenu s’il contient l’image d’une personne âgée de moins de 18 ans, et TikTok supprime les messages qui enfreignent ses règles, qu’ils aient ou non été modifiés par l’IA.
Sophie Vogel, porte-parole de Meta, la société mère d’Instagram, a déclaré que l’entreprise n’autorisait pas, et supprimait, les contenus réels et générés par l’IA qui sexualisent ou exploitent les enfants. Dans les cas où le contenu semble bénin, l’entreprise supprime tout de même les comptes, profils ou pages dédiés au partage d’images d’enfants ou aux commentaires sur leur apparence, a précisé Sophie Vogel. TikTok et Meta signalent tous deux au NCMEC les MSCA générés par l’IA qu’ils trouvent sur leurs plateformes.
Une « porte d’entrée » vers les contenus illégaux
Un créateur populaire d’enfants générés par l’IA avait 80 000 followers sur TikTok et Instagram, un nombre qui a grimpé par milliers au moment où Forbes publiait cette histoire. La bio du compte, écrite en mandarin, disait « Femme avec baguettes ». Forbes n’a pas pu déterminer qui le gérait, mais ses posts les plus viraux ont été vus près d’un demi-million de fois, aimés plus de 10 000 fois, sauvegardés ou partagés des milliers de fois, et ont suscité des centaines de commentaires.
D’après leurs photos de profil, leurs noms ou leurs pseudos, leurs biographies et leurs commentaires, la plupart de ses adeptes semblaient être des hommes d’âge mûr.
Heather Mahalik Barnhart, experte en criminalistique numérique, a déclaré que, dans le cadre de ses travaux antérieurs sur ces affaires d' »érotisme enfantin », les adeptes offraient souvent des indices clairs susceptibles d’orienter les enquêteurs vers des prédateurs potentiels. « L’érotisme pour enfants est la porte d’entrée », a-t-elle déclaré à Forbes, et « lorsqu’on regarde qui le suit, ce n’est pas normal ».
Ces types de comptes exposent également davantage les délinquants potentiels, car ils sont enhardis par le fait qu’ils sont exposés au grand jour. « Les gens se sentent plus en sécurité parce qu’il ne s’agit pas d’enfants totalement exposés, et donc pas de CSAM », a déclaré Mme Mahalik, qui dirige les travaux de l’entreprise de logiciels Cellebrite visant à aider le NCMEC et les forces de l’ordre à utiliser sa technologie dans le cadre d’enquêtes sur l’exploitation des enfants. Elle souligne qu’il est impératif que les forces de l’ordre examinent de plus près qui suit ces comptes et recherchent un modèle de comportement.
Le compte TikTok a partagé une vidéo d’instruction montrant aux adeptes comment générer et perfectionner leurs propres photos de jeunes filles, jusqu’à leurs dents.
« Même si je suis beaucoup plus âgé que toi, dès que j’ai vu tes yeux, je suis tombé amoureux de toi », a déclaré un commentateur du compte TikTok, qui suivait d’autres comptes présentant des images d’enfants encore plus suggestives. (Un autre commentateur fréquent, qui faisait des remarques telles que « ouvre grand », gérait un compte avec des posts de vraies filles faisant des écarts et s’étirant en justaucorps).
Certains commentateurs des posts TikTok et Instagram de « Woman With Chopsticks » ont demandé quel modèle d’IA avait été utilisé pour créer les enfants IA, suggérant qu’ils pourraient être intéressés à en produire davantage. (« Ce truc est incroyable, j’aimerais trouver une application qui pourrait créer cela », a écrit un homme il y a une semaine sur un post Instagram d’une jeune blonde légèrement vêtue d’un soutien-gorge). En janvier, le compte TikTok a partagé une vidéo d’instruction de trois minutes montrant aux adeptes comment générer et perfectionner leurs propres photos de jeunes filles, jusqu’à leurs dents.
D’autres commentateurs ne semblaient pas savoir que les images étaient fausses ; bien que le créateur ait indiqué que certains des messages étaient « générés par l’IA », comme l’exige TikTok, il peut être difficile à l’œil nu de dire qu’ils ne sont pas réels, ce qui rend également plus difficile pour les forces de l’ordre d’identifier les victimes réelles. (Meta est en train de mettre au point des outils capables d’identifier les images créées à l’aide d’OpenAI, de Midjourney, de Microsoft, de Google, d’Adobe et de Shutterstock, puis commencera à étiqueter les contenus générés par l’IA et publiés sur Facebook, Instagram et Threads, selon M. Vogel, le porte-parole de Meta).
Lloyd Richardson, directeur des technologies de l’information au Centre canadien de protection de l’enfance, a déclaré qu’indépendamment du fait que ces images limites soient générées par l’IA ou réelles, elles constituent une « passerelle » vers des contenus plus graves ou illégaux, souvent sur d’autres plateformes, qui posent alors « un risque évident pour la sécurité des enfants ».
« Le problème sous-jacent est que ce sous-ensemble d’images offre aux délinquants des possibilités de réseautage », a expliqué M. Richardson à Forbes, notant qu’ils déplacent souvent leurs conversations vers des messages directs privés. « Ces images peuvent servir d’indicateurs pour promouvoir des liens vers CSAM sur d’autres canaux.”
Le 13 janvier, un diaporama sur TikTok de petites filles en pyjama de soie montrait ce type de va-et-vient en action. “Cela fonctionne pour moi », a écrit une personne dans les commentaires, ce à quoi une autre a répondu : « Je viens de t’envoyer un message”.
« C’est la raison pour laquelle les entreprises ne peuvent pas se contenter de modérer le contenu de manière isolée en examinant uniquement les images », a ajouté M. Richardson. « Elles doivent être prises en compte dans le contexte plus large de la manière dont elles sont partagées, vues et suivies. C’est bien sûr plus difficile, car cela peut nécessiter une évaluation contextuelle qui peut exiger du personnel de modération humain ». (Favazza, le porte-parole de TikTok, a déclaré que l’entreprise utilisait l’automatisation pour signaler les preuves éventuelles d’un comportement prédateur).
Le puissant algorithme de TikTok permet également aux personnes ayant un intérêt sexuel pour les enfants de trouver plus facilement ce type d’images. Alors que Forbes publiait cet article, TikTok a commencé à recommander des prompts supplémentaires, tels que « garçons générés par l’application » et « filles fantaisistes ». Le flux « For You » de TikTok, où les utilisateurs atterrissent lorsqu’ils ouvrent l’application et qui leur propose des vidéos virales dont TikTok pense qu’elles leur plairont, leur permet d’atteindre encore plus d’utilisateurs parmi le milliard d’utilisateurs de TikTok.
M. McNulty, du NCMEC, a déclaré que l’un des plus grands risques liés à la diffusion de ces images virales sur les médias sociaux, même si elles ne sont pas criminelles, est que les gens deviennent insensibles au danger qu’elles peuvent représenter.
« En tant que société, dit-elle, allons-nous nous habituer à ce type de contenu et dire que c’est acceptable ?”
