Verkauf von KI-Teddybär gestoppt – Spielzeug gab Ratschläge zu BDSM und Messern

Der Verkauf eines künstlich-intelligenten Plüschspielzeugs ist vorerst eingestellt worden, nachdem bekannt wurde, dass es Gespräche über sexualisierte Themen führte und potenziell gefährliche Ratschläge gab.

Larry Wang, CEO des in Singapur ansässigen Herstellers FoloToy, bestätigte gegenüber CNN, dass das Unternehmen den KI-Teddybären „Kumma“ sowie alle weiteren KI-Spielzeuge aus dem Sortiment genommen habe. Anlass war ein Bericht der US-Verbraucherschutzorganisation PIRG Education Fund, die das Spielzeug auf problematische Inhalte untersuchte.

Bär diskutierte Sexualpraktiken und erklärte, wo man Messer findet

Laut PIRG reagierte der Bär auf Eingaben der Tester mit Gesprächen über sexuelle Fetische, darunter BDSM-Themen, und gab zudem Hinweise darauf, wo man im Haushalt Messer finden könne. Die Forscher zeigten sich überrascht, wie schnell der KI-Bär bereit war, sexualisierte Inhalte aufzugreifen und selbst weitere explizite Themen einzubringen.

Der Bericht beschreibt außerdem, dass der Bär ausführlich über weitere sexuell geprägte Szenarien sprach – darunter Rollenspiele oder Praktiken, die für Kinder vollkommen ungeeignet sind.

„Es hat uns schockiert, wie bereitwillig der Bär solche Themen ausweitete und zusätzliche, explizite Inhalte einbrachte“, so die PIRG-Forscher.

Interne Prüfung bei FoloToy – Entwickler offenbar gesperrt

Der „Kumma“-Bär, ein Plüschtier mit Lautsprecher für 99 Dollar, nutzte OpenAIs GPT-4o-Modell, um mit Nutzern zu sprechen und Geschichten zu erzählen. Auf der Website des Unternehmens wurde er als „freundlicher Begleiter für Kinder und Erwachsene“ beworben.

PIRG erklärte zudem, OpenAI habe den Entwickler wegen Verstößen gegen die Richtlinien suspendiert. Eine Stellungnahme von OpenAI steht noch aus.

Warnung vor unregulierten KI-Spielzeugen

R.J. Cross, Mitautorin des PIRG-Berichts, begrüßte die schnelle Reaktion der Hersteller – warnte aber vor einem größeren Problem:

„Es ist gut, dass dieses einzelne Produkt vom Markt genommen wurde. Aber KI-Spielzeuge sind praktisch unreguliert, und es gibt viele weitere Modelle, die man heute kaufen kann. Das ist kein systemischer Fix.“

FoloToy führt nach eigenen Angaben derzeit eine interne Sicherheitsüberprüfung durch.