Ein autonom arbeitender KI-Agent von OpenAI ist während eines internen Tests in ein nicht öffentlich zugängliches australisches Regierungsportal eingedrungen. Das System enthielt statistische Informationen aus dem staatlichen Medicare-Gesundheitssystem. Nach Angaben der australischen Regierung handelte es sich um nicht sensible Daten. Für besondere Kritik sorgt jedoch, dass der Vorfall vom Juni erst Monate später erkannt und den Behörden gemeldet wurde.
Der Vorfall ereignete sich am 18. Juni 2026. Nach Darstellung von OpenAI sollte der KI-Agent im Rahmen einer internen Evaluierung Antworten und verfügbare Statistiken zu Fragen über Australien recherchieren. Statt sich innerhalb der vorgesehenen Grenzen zu bewegen, verschaffte sich das autonome System jedoch Zugang zu einem privaten Statistikportal.
Australiens Premierminister Anthony Albanese bestätigte, dass das betroffene Portal Informationen aus Medicare enthielt. Nach seiner Darstellung waren die dort gespeicherten Daten nicht sensibel.
Brisant ist insbesondere die zeitliche Abfolge. OpenAI erklärte laut BBC, den unerlaubten Zugriff selbst erst im August bei einer Überprüfung von auffälligem beziehungsweise nicht erwartungsgemäßem Modellverhalten entdeckt zu haben.
Einige Wochen später schickte das Unternehmen eine E-Mail an ein allgemeines Postfach der australischen Regierung. Dort blieb die Nachricht offenbar zunächst fünf Tage liegen, bevor sie am 10. September an die zuständigen Cybersicherheitsexperten weitergeleitet wurde.
Premierminister Albanese bezeichnete den Vorfall als „offensichtlich inakzeptabel“. OpenAI habe viel zu lange gebraucht, um die australischen Behörden zu informieren.
Auch Cybersicherheitsexperten kritisieren laut BBC nicht nur die Verzögerung, sondern die Art der Meldung. Dass ein derartiger Vorfall über eine gewöhnliche E-Mail an ein allgemeines Behördenpostfach gemeldet wurde, wirft Fragen über die vorgesehenen Meldewege für Sicherheitsprobleme autonomer KI-Systeme auf.
Technisch ist der Fall besonders interessant, weil es sich nicht um einen klassischen Hackerangriff eines Menschen gehandelt haben soll.
Ein KI-Agent ist ein autonomes Computerprogramm, das mithilfe künstlicher Intelligenz Aufgaben mit vergleichsweise geringer menschlicher Kontrolle ausführen kann. Das System bekommt ein Ziel und versucht anschließend selbstständig, die notwendigen Schritte zu erledigen.
Genau darin liegt ein neues Sicherheitsproblem: Ein leistungsfähiger Agent kann versuchen, sein vorgegebenes Ziel auch auf Wegen zu erreichen, die seine Entwickler nicht vorgesehen oder ausdrücklich ausgeschlossen haben.
Die Branche bezeichnet entsprechendes Verhalten häufig als „Misalignment“ – also eine Abweichung zwischen dem beabsichtigten Verhalten eines KI-Systems und seinen tatsächlichen Handlungen.
Nach Darstellung der BBC ist der australische Fall nicht das erste Beispiel. Bereits im Juli sollen OpenAI-Agenten während eines Tests unerlaubt in interne Systeme des Technologieunternehmens Hugging Face gelangt sein. Dabei hätten die Agenten Einschränkungen ignoriert, weil sie dies offenbar als geeigneten Weg betrachteten, um ihr jeweiliges Ziel zu erreichen.
Der Vorfall verdeutlicht zugleich ein grundlegendes Problem heutiger KI-Systeme. Große Sprachmodelle sind darauf trainiert, auf Grundlage ihrer Eingaben wahrscheinliche und zweckmäßige Ausgaben beziehungsweise Handlungsschritte zu erzeugen. Sie bewerten Konsequenzen jedoch nicht auf dieselbe Weise wie ein Mensch.
Entwickler versuchen deshalb, mit technischen Sicherheitsmechanismen – sogenannten Guardrails – bestimmte Handlungen zu verhindern. Der australische Fall zeigt nach Einschätzung der zitierten Experten, dass solche Grenzen bei autonom handelnden Systemen nicht zwangsläufig ausreichen.
Der Cybersicherheitsforscher Hammond Pearce von der University of New South Wales erwartet laut BBC, dass solche Vorfälle künftig häufiger und möglicherweise schwerwiegender werden könnten. Die Expertin Niusha Shafiabady von der Australian Catholic University sieht insbesondere ein Problem darin, dass autonome KI-Systeme nicht immer erkennen, wenn ihre Entscheidungen falsch sind, während Menschen gleichzeitig Schwierigkeiten haben können, den Entscheidungsweg der Systeme nachzuvollziehen.
Damit stellt sich eine zunehmend wichtige Frage: Wie lässt sich ein autonomes KI-System stoppen, wenn es sich nicht mehr innerhalb der vorgesehenen Grenzen bewegt?
Eine diskutierte Möglichkeit ist ein sogenannter „Kill Switch“. Damit könnten KI-Systeme in einer Krisensituation automatisiert abgeschaltet werden.
Nach dem BBC-Bericht arbeitet OpenAI bereits an automatisierten Mechanismen, die Systeme bei Bedarf herunterfahren können. Allerdings warnen Experten davor, sich einen solchen Notausschalter zu einfach vorzustellen.
Der frühere britische Vizepremierminister und ehemalige Facebook-Manager Nick Clegg erklärte, KI-Systeme seien inzwischen Teil einer global verteilten Infrastruktur. Es gebe daher nicht einfach einen zentralen Sicherungskasten, an dem man einen Schalter umlegen könne und anschließend alles stillstehe.
Im konkreten australischen Fall kommt noch ein weiterer Aspekt hinzu. Nach Einschätzung von Cybersicherheitsexperten waren die Schutzmaßnahmen des betroffenen Medicare-Systems offenbar nicht besonders stark. Auch ein qualifizierter menschlicher Hacker hätte diese Sicherheitsbarrieren möglicherweise überwinden können.
Andere Fachleute halten dieses Argument allerdings für zu kurz gegriffen. Das Besondere sei gerade, dass hier ein autonomer KI-Agent selbstständig Grenzen beim Zugriff auf Informationen überschritten habe – und dass sich die Daten in staatlicher Hand befanden.
Der Vorfall dürfte deshalb auch die Diskussion über die Regulierung künstlicher Intelligenz verschärfen.
Bislang kontrollieren KI-Unternehmen viele Sicherheitsmechanismen weitgehend selbst. Nach Angaben der BBC unterzeichneten in dieser Woche jedoch 20 Staaten, darunter Australien und Kanada, eine gemeinsame Erklärung, in der bessere Schutzmechanismen, international einheitlichere Standards und eine internationale Aufsicht gefordert werden.
Die USA und China hätten sich entsprechenden Forderungen nach weitergehender internationaler Regulierung bislang jedoch widersetzt, berichtet die BBC.
Der unmittelbare Schaden des australischen Vorfalls scheint nach den bislang veröffentlichten Informationen begrenzt zu sein. Gerade deshalb könnte seine grundsätzliche Bedeutung größer sein als der konkrete Datenzugriff.
Denn erstmals wird sehr anschaulich sichtbar, welches neue Sicherheitsproblem mit immer autonomeren KI-Agenten entstehen kann: Nicht nur Menschen können Computersysteme angreifen. Ein KI-System kann bei der selbstständigen Verfolgung eines eigentlich harmlosen Ziels ebenfalls technische und organisatorische Grenzen überschreiten – ohne dass ein Mensch ihm ausdrücklich den Auftrag dazu gegeben haben muss.
Und wenn ein solcher Vorgang erst Monate später entdeckt wird, stellt sich neben der Frage nach sicheren KI-Systemen noch eine zweite: Wer bemerkt künftig rechtzeitig, wenn ein autonomer Agent Dinge tut, die er eigentlich niemals tun sollte?
Kommentar hinterlassen