Afbeeldingen van AI-kinderen op TikTok en Instagram zijn magneten voor mensen met seksuele belangstelling voor minderjarigen. Maar wanneer deze content legaal is en neppersonen portretteert, valt het in een rommelig, verontrustend grijs gebied.
Het volgende artikel bevat discussies over verontrustende content op social media.
De meisjes op de foto’s op TikTok en Instagram zien eruit alsof ze vijf of zes jaar oud zouden kunnen zijn. Ze zijn misschien wat ouder, maar nog geen dertien jaar oud.
Ze zijn afgebeeld in kant en leer, bikini’s en crop tops. Ze zijn suggestief gekleed als verpleegsters, superhelden, ballerina’s en Franse dienstmeisjes. Sommigen dragen konijnenoren of duivelshoorns, anderen vlechtjes en een te grote bril. Ze zijn zwart, blank en Aziatisch, blond, roodharig en brunettes. Ze zijn allemaal gecreëerd met AI en ze zijn magneten geworden voor de aandacht van een problematisch publiek op enkele van de grootste social media-apps ter wereld – oudere mannen.
“AI maakt geweldige kunstwerken: ik zou graag zo’n mooie kleine maagd in mijn handen hebben om het om het tot de mijne te maken” reageerde een TikTok-gebruiker op een recente post van jonge blonde meisjes in dienstmeisjesoutfits, met strikken om hun nek en bloemen in hun haar.
“Als dit AI-gegenereerd is, moet ik me dan slecht voelen als ik zeg dat ze zo geil is?”, schreef een andere TikTokker bij een slideshow van volledig geklede kleine meisjes in Spider-Man kostuums. “Ze is niet echt, maar ik heb een grote verbeelding.”
“Het zou hoe dan ook niet verkeerd moeten zijn”, reageerde een ander, wiens gebruikersnaam ‘p3do’ bevatte, wat algospeak of codetaal, voor ‘pedo’ kan zijn.
“Je kunt haar niet schaden omdat het een AI-afbeelding is”, zei een ander.
Soortgelijke commentaren overspoelden foto’s van AI-kinderen op Instagram. “Ik zou haar graag haar onschuld afnemen, ook al is het een nepfoto”, schreef iemand bij een post van een klein, bleek kind verkleed als bruid. Op een andere, van een jong meisje in korte broek, gaf dezelfde gebruiker commentaar op “haar schattige paar kleine [borstjes]” afgebeeld als twee appel-emoji’s, “en haar perfecte onschuldige plakje kersentaart eronder.” En bij een foto van een jonge tiener in spaghettibandjes zei iemand met de naam ‘Gary’: “Schattige kleine knopjes. Als ze ouder wordt, worden het grote meloenen.”
“Ziet er lekker uit.” “Bezorgt u ook aan huis?” “De perfecte leeftijd om misbruik van te maken.” “Ik wil dat schatje.” “Kun je een test doen waarbij ze uit mijn telefoon in mijn bed springt?” zeiden anderen op TikTok en Instagram. Forbes vond alleen al op de platforms uit 2024 honderden van dit soort berichten en commentaren bij afbeeldingen van door AI gegenereerde kinderen. Velen waren getagd met muzikale hits, zoals Beyonce’s ‘Texas Hold ‘Em’, Taylor Swift’s ‘Shake It Off’ en Tracy Chapman’s ‘Fast Car’, om ze te helpen meer kijkers te bereiken.
Kindermisbruikers hebben bijna alle grote social media-apps bezocht – waar ze zich achter schermen en met anonieme gebruikersnamen kunnen verbergen – maar door de populariteit van TikTok en Instagram onder tieners en minderjarigen zijn ze beide topbestemmingen geworden. En hoewel de strijd van de platforms om kinderpornomateriaal (of CSAM) aan te pakken dateert van vóór de huidige AI-hausse, maken AI tekst-naar-afbeelding generatoren het nog makkelijker voor kindermisbruikers om precies te vinden of te maken wat ze zoeken.
De tools hebben geleid tot een toename van door AI gegenereerde CSAM dat, zelfs als het nep is, illegaal is. Maar de afbeeldingen, die aan het licht kwamen in de rapportage van dit verhaal, vallen in een grijs gebied. Ze zijn niet expliciet, maar wel geseksualiseerd. Er staan minderjarigen op, maar geen echte. Ze lijken legaal, maar de commentaren erop suggereren gevaarlijke bedoelingen. Experts op het gebied van kinderveiligheid en forensisch onderzoek hebben ze beschreven als portalen naar veel duistere en mogelijk criminele activiteiten. Dit roept vragen op bij instanties op het gebied van technologie en wetshandhaving over hoe om te gaan met een plaag van suggestieve, onechte afbeeldingen van kinderen die niet bestaan – of, als ze niet expliciet en legaal zijn, moet er dan überhaupt iets aan gedaan worden?
Technologiebedrijven zijn volgens de federale Amerikaanse wet verplicht om vermoedens van kindermisbruik en seksuele uitbuiting van kinderen op hun platforms te melden aan het National Center for Missing and Exploited Children. Dit is een non-profit organisatie die informatie over illegale activiteiten aan de politie doorgeeft. Maar ze zijn niet verplicht om afbeeldingen zoals beschreven in dit verhaal te markeren of te verwijderen. Toch vertelde het NCMEC aan Forbes dat het van mening is dat social media bedrijven deze moeten verwijderen, zelfs als ze legaal zijn.
“NCMEC gelooft dus niet echt in de argumentatie dat er een wereld bestaat waarin dit oké is”, zegt Fallon McNulty, directeur van de CyberTipline, de hotline van de organisatie voor techbedrijven. Uit een recent onderzoek van het Stanford Internet Observatory bleek dat één van de populairste tekst-naar-afbeelding AI-tools op de markt, Stable Diffusion 1.5, was gebaseerd op CSAM van echte kinderen, afkomstig van het web.
“Vooral gezien het commentaar dat de afbeeldingen aantrekken, klinkt het niet alsof het publiek, dat deze afbeeldingen bekijkt en consumeert, onschuldig is”, voegde McNulty eraan toe. “Ik hoop dat ze die content verwijderen en geen ruimte op hun platformen creëren voor individuen die kinderen seksualiseren.”
De afbeeldingen van door AI gegenereerde kinderen werden getagd met hits van Taylor Swift, Beyonce en Tracy Chapman om ze te helpen meer kijkers te bereiken.
TikTok en Instagram hebben de accounts, de video’s en de commentaren waarnaar in dit verhaal wordt verwezen permanent verwijderd nadat Forbes ernaar vroeg. Beide bedrijven zeiden dat ze de regels van het platform overtraden.
“TikTok heeft een strikt beleid tegen AI-gegenereerde content van minderjarigen om jongeren te beschermen en TikTok ongastvrij te houden voor gedrag dat erop is gericht om hen te schaden”, zei woordvoerder Jamie Favazza. Het synthetische mediabeleid van het bedrijf, dat ruim een jaar geleden werd ingesteld en vrijdag werd geüpdatet, verbiedt dergelijke content als het de afbeelding bevat van iemand onder de 18 jaar en TikTok verwijdert posts die de regels overtreden, ongeacht of ze zijn bewerkt met AI.
Sophie Vogel, een woordvoerder van het moederbedrijf van Instagram, Meta, zei dat het bedrijf echt en door AI gegenereerd materiaal dat kinderen seksualiseert of uitbuit niet toestaat en verwijdert. In gevallen waar de content onschuldig lijkt, verwijderen ze nog steeds accounts, profielen of pagina’s die gewijd zijn aan het delen van afbeeldingen van kinderen of commentaar geven op hun uiterlijk, aldus Vogel. Zowel TikTok als Meta rapporteren AI-gegenereerde CSAM op hun platforms aan het NCMEC.
Een “toegangspoort” tot illegale content
Een populaire ontwikkelaar van AI-gegenereerde kinderen had 80.000 volgers op TikTok en Instagram, een aantal dat met duizenden steeg toen Forbes dit verhaal publiceerde. De bio van het account, geschreven in het Mandarijn, luidde “Woman With Chopsticks”. Forbes kon niet vaststellen wie het account beheerde, maar de meest virale posts werden bijna een half miljoen keer bekeken, meer dan 10.000 keer geliked, duizenden keren opgeslagen of gedeeld en trokken honderden reacties aan.
Veel van de volgers, gebaseerd op hun profielfoto’s, namen, pseudoniemen, biografieën en commentaren, leken oudere mannen te zijn.
Digitaal forensisch expert Heather Mahalik Barnhart vertelde dat in haar eerdere werk gerelateerd aan deze “kindererotiek” zaken, de volgers vaak duidelijke aanwijzingen gaven die onderzoekers in de richting van potentiële kindermisbruikers konden wijzen. “Kindererotiek is de toegangspoort”, vertelde ze Forbes en “als je kijkt naar wie het volgt, is dat niet normaal.”
Dit soort accounts maakt potentiële daders ook meer zichtbaar omdat ze openlijk worden aangemoedigd. “Mensen voelen zich veiliger omdat het geen volledig onbedekte kinderen zijn, dus geen CSAM”, zei Mahalik, die leiding geeft aan het werk van softwarebedrijf Cellebrite om het NCMEC en wetshandhavers te helpen bij het gebruik van hun technologie bij onderzoeken naar kinderuitbuiting. Ze merkte op dat wetshandhavers nauwkeuriger moeten onderzoeken wie deze accounts volgen en moeten zoeken naar een gedragspatroon.
Het TikTok-account deelde een instructievideo die volgers laat zien hoe ze hun eigen foto’s van jonge meisjes kunnen maken en perfectioneren, tot aan hun tanden toe.
“Ook al ben ik vele jaren ouder dan jij, werd ik verliefd op je zodra ik je ogen zag”, zei een commentator op het TikTok account, die andere gebruikers volgde met nog suggestievere afbeeldingen van kinderen. (Een andere regelmatige commentator, die opmerkingen maakte als ‘wijd open’, had een account met posts van echte meisjes die splits deden en zich uitrekten in gympen).
Sommige commenters op de TikTok en Instagram posts van ‘Woman With Chopsticks’ vroegen welk AI-model was gebruikt om de AI-kinderen te maken, wat suggereerde dat ze geïnteresseerd zouden kunnen zijn in het produceren van meer. (“Dit spul is geweldig, ik wou dat ik een app kon vinden die dit kon maken”, schreef een man een week geleden op een Instagram van een schaars geklede jonge blondine in een balletpakje). In januari deelde het TikTok-account een drie minuten durende instructievideo die volgers liet zien hoe ze hun eigen foto’s van jonge meisjes konden maken en perfectioneren, tot aan hun tanden toe.
Andere commentatoren leken niet te weten dat de foto’s nep waren. Hoewel de maker sommige berichten als “AI-gegenereerd” bestempelde, zoals TikTok vereist, kan het voor het blote oog moeilijk te zien zijn dat ze niet echt zijn, wat het ook moeilijker maakt voor wetshandhavers om de werkelijke slachtoffers te lokaliseren. (Meta is bezig met het ontwikkelen van tools die afbeeldingen kunnen identificeren die zijn gemaakt met behulp van OpenAI, Midjourney, Microsoft, Google, Adobe en Shutterstock. Vervolgens zal Meta beginnen met het labelen van AI-gegenereerde content die is geplaatst op Facebook, Instagram en Threads, aldus Vogel, woordvoerder van Meta).
Lloyd Richardson, directeur IT van het Canadese Center for Child Protection, zei dat ongeacht of deze marginale beelden AI of echt zijn, ze een “toegangspoort” zijn naar ernstigere of illegale content, vaak op andere platforms, die vervolgens “een duidelijk veiligheidsrisico voor kinderen” vormen.
“Het onderliggende probleem is dat deze subset van afbeeldingen leidt tot netwerkmogelijkheden voor overtreders” vertelde Richardson aan Forbes, waarbij hij opmerkte dat ze hun gesprekken vaak verplaatsen naar privé direct messages. “Deze afbeeldingen kunnen dienen als wegwijzers voor het promoten van links naar CSAM in andere kanalen.”
Een diavoorstelling op TikTok van 13 januari van kleine meisjes in zijden pyjama’s toonde dit soort heen-en-weer gepraat in actie. “Dit werkt voor mij” schreef een persoon in de comments, waarop een ander antwoordde: “Ik heb je net een bericht gestuurd.”
“Dit is de reden waarom bedrijven content niet simpelweg op zichzelf kunnen modereren door alleen naar afbeeldingen te kijken” voegde Richardson eraan toe. “Ze moeten in de bredere context worden geplaatst van hoe ze worden gedeeld, bekeken en gevolgd. Dit is natuurlijk een grotere uitdaging omdat het een contextuele beoordeling kan vereisen waarvoor menselijke moderatiemedewerkers nodig zijn.” (Favazza, de woordvoerder van TikTok, zei dat ze automatisering gebruiken om mogelijk bewijs van misbruikgedrag te markeren).
Het krachtige algoritme van TikTok maakt het ook makkelijker voor mensen met een seksuele interesse in kinderen om nog meer van dit soort afbeeldingen te vinden. Terwijl Forbes verslag deed van dit verhaal, begon TikTok met het aanbevelen van extra aanwijzingen, zoals “AI-gegenereerde jongens” en “AI-fantasie meisje’” En de “For You-feed” van TikTok, waar gebruikers terechtkomen als ze de app openen en die virale video’s aanbiedt waarvan TikTok denkt dat ze die leuk zullen vinden, zorgt ervoor dat ze nog meer van de 1 miljard gebruikers van TikTok bereiken.
McNulty van het NCMEC zei dat één van de grootste risico’s van AI-kinderen die deze virale momenten op social media hebben, zelfs als de beelden niet crimineel zijn, is dat mensen ongevoelig kunnen worden voor hoe gevaarlijk ze kunnen zijn.
“Raken we als samenleving gewend aan dit soort content en zeggen we dat het oké is?”
