Die Europäische Kommission hat einen Vorschlag für einen europäischen Rechtsrahmen für Künstliche Intelligenz (KI), den Artificial Intelligence Act (AIA) vorgelegt.

Der Verbraucherzentrale Bundesverband (vzbv) kritisiert nun in einem Positionspapier, dass der AIA Verbraucherinnen und Verbraucher nicht wirksam vor KI-Systemen schützt, die erheblichen wirtschaftliche Schäden verursachen können – etwa im Bereich Versicherungen. Außerdem schaffe er kaum Transparenz für Verbraucher und überlasse die Kontrolle hochriskanter KI-Systeme weitgehend den Anbietern selber.

Die Bewertung des vzbv im Einzelnen:

• Der Vorschlag ignoriert weitgehend KI-Systeme, die Verbrauchern erhebliche wirtschaftliche und finanzielle Schäden zufügen können, etwa im Versicherungs- oder Finanzbereich.
• Der Gesetzgeber muss ein Recht auf individuelle Erklärung schaffen, etwa zu Datengrundlage wichtiger KI-getriebener Entscheidungen. Nur damit können Verbraucher ihre Rechte wahrnehmen und gegen ungerechtfertigte Behandlung oder Diskriminierung vorgehen.
• Der Vorschlag schützt Verbraucher nicht wirksam vor dem Einsatz von Emotionserkennungssystemen und Persönlichkeitsanalysen durch private Stellen. So sollten etwa vermeintliche Lügendetektoren oder Systeme zur Emotionserkennung untersagt werden, wenn sie die Schwächen Einzelner (wie Schmerzen, Müdigkeit oder Veranlagung zu Spielsucht) zum kommerziellen Vorteil der Anbieter ausnutzen.
• Die Verwendung biometrischer Identifikationssysteme in öffentlich zugänglichen Räumen durch private Stellen sollte untersagt werden – etwa wenn „smarte Brillen“ im öffentlichen Nahverkehr Passanten identifizieren.
• Der Entwurf sieht vor, dass die Anbieter hochriskanter KI weitgehend selber kontrollieren, ob ihre Systeme rechtskonform sind. Um das nötige Verbrauchervertrauen in diese Systeme zu schaffen, müssen aber unabhängige Überprüfungen bei diesen Systemen die Regel sein.

Aus Sicht des vzbv muss das Europäische Parlament und der Rat der Europäischen Union den Vorschlag nun entsprechend nachbessern.