Ein besonders schockierendes Beispiel ereignete sich in Almendralejo, Spanien, wo mehr als 20 junge Mädchen zwischen elf und 17 Jahren Opfer von KI-manipulierten Nacktbildern wurden. Ähnliche Vorfälle gab es auch in den USA, wo an einer Highschool in New Jersey Jugendliche beschuldigt wurden, mithilfe von KI pornografische Bilder von Mitschülern zu erstellen.

Obwohl das Erzeugen von Deepfakes an sich oft nicht illegal ist, ändert sich dies, wenn Persönlichkeitsrechte verletzt werden. Einfach zugängliche KI-Tools ermöglichen es nun, Personen auf Fotos virtuell „auszuziehen“ oder Gesichter in pornografische Videos einzufügen. Dies hat zu einem Anstieg von KI-generierten pornografischen Darstellungen geführt, wie aus dem Bericht der Internet Watch Foundation hervorgeht. Dort wird von über 20.000 KI-generierten Bildern in nur einem Monat in einem Forum berichtet, das sich auf sexuellen Kindesmissbrauch spezialisiert.

Kinderrechtsaktivisten wie Sarah Adams warnen eindringlich davor, Bilder von Kindern in sozialen Medien zu posten, und kritisieren Eltern, die dies tun, als Mitschuldige an der Online-Ausbeutung von Kindern. Sie fordert dazu auf, keine persönlichen Informationen von Minderjährigen online zu teilen.

Die Sicherheitsprobleme auf Social-Media-Plattformen, wie unerwünschte sexuelle Annäherungsversuche gegenüber Minderjährigen, werden auch von ehemaligen Meta-Beratern thematisiert. Der US-Kongress erwägt derzeit ein Verbot von Deepfakes, die ohne Einwilligung der betroffenen Person verbreitet werden.

In Großbritannien hat sich die Regierung verpflichtet, gegen KI-generierte sexuelle Missbrauchsinhalte vorzugehen, mit hohen Geldstrafen als mögliche Konsequenz. In der EU befindet sich derzeit ein KI-Gesetz in der Entwicklung, das KI-Anwendungen in Risikoklassen einteilen und regulieren soll. Bis dieses Gesetz in Kraft tritt, setzt die EU auf freiwillige Selbstkontrolle der Unternehmen.