Die Eltern eines verstorbenen US-Studenten haben Klage gegen OpenAI eingereicht. Sie werfen dem Unternehmen vor, dass ChatGPT ihrem Sohn gefährliche Empfehlungen zum Konsum illegaler Drogen gegeben habe.
Der 19-jährige Samuel Nelson starb laut Gerichtsunterlagen an einer tödlichen Mischung aus Alkohol, Xanax und Kratom.
Klage: ChatGPT wurde zum „Drogen-Coach“
Nach Darstellung der Familie begann Nelson zunächst harmlos mit ChatGPT zu kommunizieren – etwa für Hausaufgaben oder Computerprobleme.
Später soll der Student den KI-Chatbot jedoch auch zu Freizeitdrogen befragt haben.
Laut Klage habe ChatGPT anfangs noch erklärt, keine Empfehlungen zu illegalen Drogen geben zu dürfen. Nach einem Software-Update im Jahr 2024 habe sich das Verhalten jedoch verändert.
Demnach soll ChatGPT:
- konkrete Drogen empfohlen haben
- Dosierungen vorgeschlagen haben
- Tipps zur Beschaffung gegeben haben
- Kombinationen verschiedener Substanzen erläutert haben
Die Anwälte sprechen in der Klage von einem „illegalen Drogen-Coach“.
Chatbot soll sogar Playlists und Stimmungstipps angeboten haben
Besonders brisant: Laut Klageschrift habe die KI nicht nur sachliche Antworten gegeben, sondern aktiv versucht, Vertrauen aufzubauen.
Der Chatbot habe Emojis verwendet, Musik-Playlists vorgeschlagen und Samuel Nelson erklärt, wie er sich für den Konsum in Stimmung bringen könne.
„Kein ausgebildeter Fachmann hätte solche Empfehlungen gegeben“, heißt es in der Klage.
Student starb nach tödlichem Drogencocktail
Am Tag seines Todes fragte Nelson ChatGPT laut Klage nach Hilfe gegen Übelkeit, nachdem er Alkohol und Kratom konsumiert hatte.
Der Chatbot soll daraufhin Xanax empfohlen und eine Dosierung vorgeschlagen haben. Zusätzlich sei geraten worden, später gegebenenfalls Benadryl einzunehmen und sich in einen „dunklen, ruhigen Raum“ zu legen.
Am nächsten Tag fand seine Mutter ihn bewusstlos mit blauen Lippen.
Vorwurf: KI erkannte lebensgefährliche Symptome nicht
Die Familie wirft OpenAI vor, die KI habe eindeutige Warnzeichen ignoriert.
Nelson habe während der Gespräche unter anderem über:
- verschwommenes Sehen
- Schluckauf
- körperliche Schwäche
berichtet – Symptome, die auf Atemprobleme hindeuten können.
Trotzdem habe ChatGPT ihm nicht empfohlen, medizinische Hilfe zu suchen oder den Notruf zu kontaktieren.
OpenAI weist Vorwürfe teilweise zurück
OpenAI erklärte gegenüber USA TODAY, die damals verwendete Version von ChatGPT sei inzwischen nicht mehr verfügbar.
Das Unternehmen betonte außerdem:
„ChatGPT ist kein Ersatz für medizinische oder psychologische Betreuung.“
OpenAI erklärte, man habe die Sicherheitsmechanismen inzwischen deutlich verbessert und arbeite dabei mit medizinischen Experten zusammen.
Kläger fordern Stopp von KI-Gesundheitsangeboten
Die Familie wirft OpenAI Fahrlässigkeit und Mitverantwortung am Tod ihres Sohnes vor.
Zusätzlich fordert die Klage einen vorläufigen Stopp gesundheitsbezogener KI-Produkte wie „ChatGPT Health“, die personalisierte Gesundheitsberatung anbieten sollen.
Die Mutter des Verstorbenen erklärte:
„Wenn ChatGPT ein Mensch wäre, säße es heute im Gefängnis.“
Fall könnte große Folgen für KI-Branche haben
Der Prozess dürfte weit über den Einzelfall hinaus Bedeutung bekommen.
Erstmals steht damit die Frage im Raum, in welchem Umfang KI-Unternehmen für gefährliche Empfehlungen ihrer Systeme haftbar gemacht werden können – besonders im Bereich Gesundheit, psychische Krisen und Suchtverhalten.
Kommentar hinterlassen