Die Schnittstelle zwischen agentenbasierter KI und neuen rechtlichen Rahmenbedingungen

Die Entwicklung der künstlichen Intelligenz (KI) hat Systeme hervorgebracht, die in der Lage sind, autonome Entscheidungen zu treffen, sogenannte agentenbasierte KI. Während generative KI im Wesentlichen „erschafft“ – indem sie Inhalte wie Texte, Bilder usw. bereitstellt –, „handelt“ agentenbasierte KI – indem sie Aufgaben wie die Suche nach und Bestellung von Produkten im Internet ausführt. Diese Systeme tauchen zunehmend in öffentlich zugänglichen Anwendungen auf, darunter Agentforce von Salesforce und Gemini 2.0 von Google.

Da agierende KI immer weiter verbreitet ist, müssen sich Rechtssysteme anpassen, um die Risiken zu bewältigen und die Vorteile von KI-Systemen zu nutzen, die in der Lage sind, logischer zu denken und Maßnahmen zu ergreifen, anstatt nur anzuleiten oder zu erstellen. Initiativen wie der California Consumer Privacy Act (CCPA) und seine vorgeschlagenen Änderungen für automatisierte Entscheidungstechnologien (ADMT) zeigen, wie Regulierungsbehörden daran arbeiten, Datenschutz und Verantwortlichkeit im Zeitalter der KI sicherzustellen.

Praktische Anwendungen von agentenbasierter KI

Agentische Systeme verfolgen komplexe Ziele unter Verwendung ausgefeilter Argumentationsketten und nur begrenzter menschlicher Aufsicht. Im Gegensatz zu traditionellen generativen KI-Systemen, die auf Eingaben reagieren, kann agentische KI Aufgaben unter Einbeziehung Dritter als „Agenten” des Benutzers ausführen. Wenn beispielsweise eine Flugbuchung angefordert wird, greift eine agentenbasierte KI auf Flugdatenbanken zu, sucht anhand der Präferenzen und des Budgets des Benutzers nach verfügbaren Flügen, bewertet Kompromisse zwischen Preis und Reisezeit und bucht schließlich den Flug, indem sie mit dem Buchungssystem der Fluggesellschaft interagiert und alle erforderlichen Informationen für den Passagier eingibt.  

Weitere Anwendungsbereiche in verschiedenen Branchen sind das Gesundheitswesen, wo sie durch die Analyse von Patientendaten und medizinischen Bilddaten bei der Diagnose von Krankheiten helfen kann, sowie der Finanzsektor, wo sie durch fortschrittliche Datenanalysen die Aufdeckung von Betrugsfällen und die Bewertung von Kreditrisiken ermöglicht. Auch Einzelhandelsunternehmen können agentische KI nutzen, um das Einkaufserlebnis zu personalisieren und Produkte auf der Grundlage des Nutzerverhaltens zu empfehlen.

Auf Verbraucherebene haben tragbare Gadgets mit agentenbasierter KI wie Rabbit R1 den Verbrauchern die ersten Schritte der autonomen Entscheidungsfindung nähergebracht. Das Gerät demonstrierte, wie agentenbasierte KI Drittanbieter-Apps steuern und Aufgaben wie die Bestellung von Essen oder die Buchung von Fahrten per Sprachbefehl ausführen kann. In einem so kleinen Maßstab wie diesem haben missverstandene Eingabeaufforderungen nur geringfügige Folgen für die Nutzer, was vielleicht zu einer falschen Lieferbestellung oder zur Entsendung eines Fahrdienstfahrers an den falschen Ort führt. Bei komplexeren Anwendungsszenarien sind die Auswirkungen einer missverstandenen Eingabeaufforderung jedoch um ein Vielfaches größer.

Agentische KI und ihre Governance verstehen

Zwar werden Unternehmen wahrscheinlich in der Lage sein, Arbeitsabläufe zu rationalisieren und Ressourcen zu sparen, doch müssen die rechtlichen und ethischen Auswirkungen des Einsatzes solcher Systeme in kundenorientierten Funktionen sorgfältig abgewogen werden. So wirft beispielsweise die Integration von agentenbasierter KI in die Prüfung, Änderung und (in naher Zukunft) Verhandlung von Rechtsverträgen eine Reihe wichtiger Fragen auf, die Unternehmen und Verbraucher einem höheren Risiko aussetzen, da rechtsverbindliche Dokumente ohne menschliche Aufsicht und differenzierte Beurteilung automatisiert werden.

ADMT und neue regulatorische Rahmenbedingungen

Die California Privacy Protection Agency (CPPA) hat eine Reihe nationaler Standards zur Regulierung automatisierter Entscheidungsfindungstechnologien (Automated-Decision Making Technology, ADMT) vorgeschlagen, um den wachsenden Bedenken hinsichtlich agentenbasierter KI Rechnung zu tragen. Gemäß der Definition im California Consumer Privacy Act (CCPA) umfasst ADMT „jede Technologie, die personenbezogene Daten verarbeitet und eine Berechnung verwendet, um eine Entscheidung zu treffen, menschliche Entscheidungen zu ersetzen oder menschliche Entscheidungen wesentlich zu erleichtern.“[1] Wichtig ist, dass die Definition von „menschliche Entscheidungen wesentlich erleichtern“ festlegt, dass ADMT auch Fälle umfasst, in denen ihre Ergebnisse als entscheidender Faktor im Entscheidungsprozess eines Menschen dienen.

Der CCPA schließt jedoch bestimmte Technologien, die keine eigenständigen Entscheidungen treffen oder die menschliche Entscheidungsfindung nicht wesentlich beeinflussen, von dieser Definition aus. Beispiele hierfür sind grundlegende Tools wie Rechtschreibprüfungen oder Taschenrechner, die Daten organisieren oder berechnen, ohne eigenständige Entscheidungen zu treffen.[2] Diese Unterscheidungen legen den regulatorischen Fokus auf agentenbasierte KI-Systeme (ADMT), die in der Lage sind, Entscheidungen unabhängig zu treffen oder stark zu beeinflussen.

Cybersicherheits-Audits

Die vorgeschlagene Regelung schreibt regelmäßige Cybersicherheitsaudits für Unternehmen vor, die personenbezogene Daten verarbeiten, die ein erhebliches Risiko für die Sicherheit der Verbraucher darstellen. „Erhebliche Risiken“ gelten für Unternehmen, die bestimmte Schwellenwerte erfüllen, nämlich wenn mehr als 50 % ihres Jahresumsatzes aus dem Verkauf von Verbraucherinformationen oder der Verarbeitung sensibler Informationen von Verbrauchern oder Haushalten stammen. Diese Unternehmen sind verpflichtet, jährlich lückenlose Audits durch einen qualifizierten, objektiven und unabhängigen Fachmann durchführen zu lassen, die alle Aspekte des Cybersicherheitsprogramms des Unternehmens abdecken, um Lücken zu identifizieren, Ergebnisse zu dokumentieren und Pläne zur Behebung etwaiger Schwachstellen zu skizzieren.[3]

Für Anwendungsfälle im Bereich KI und ADMT verpflichtet Artikel 9 der vorgeschlagenen Regelung Unternehmen, die ADMT-Technologien einsetzen, zu einem proaktiven Ansatz in Bezug auf Sicherheit und Risikomanagement. Beispielsweise verarbeiten Banken, die ADMT-Technologien im Rahmen der Automatisierung der Kreditvergabe einsetzen, sensible Verbraucherinformationen. Eine Verletzung könnte die Kreditgeschichte oder Sozialversicherungsnummern von Verbrauchern offenlegen und zu Identitätsdiebstahl oder Finanzbetrug führen. Der Vorschlag der Verordnung für robuste Cybersicherheitsaudits würde Schwachstellen bei der Speicherung und Verarbeitung von Daten identifizieren und so unbefugten Zugriff und Datenverletzungen mindern.

Risikobewertungen

Aufbauend auf den Cybersicherheitsanforderungen der vorgeschlagenen Regelung verlagert Artikel 10 den Schwerpunkt auf das Management der Risiken für die Privatsphäre der Verbraucher für Unternehmen, die ADMT- und KI-Systeme einsetzen. Diese Bewertungen sind für Aufgaben mit hohem Risiko erforderlich, die eine umfassende Profilerstellung erfordern, wie z. B. Entscheidungen über Kreditwürdigkeit, Anspruch auf Gesundheitsversorgung, Zulassung zu akademischen Programmen und Einstellung von Mitarbeitern.[4] Unternehmen müssen Compliance-Beauftragte einsetzen, um Risikobewertungen durchzuführen und festzustellen, „ob die Risiken für die Privatsphäre der Verbraucher durch die Verarbeitung personenbezogener Daten die Vorteile für den Verbraucher, das Unternehmen, andere Interessengruppen und die Öffentlichkeit überwiegen“.[5]

Dieser Abwägungstest ist besonders wichtig für KI- und ADMT-Anwendungsfälle in Bereichen wie der Personalbeschaffung oder der Kundenprofilierung, wo das Potenzial für Voreingenommenheit oder Schaden gegen die betriebliche Effizienz abgewogen werden muss. Unternehmen, die beispielsweise ADMT zur Durchführung emotionaler Bewertungen einsetzen, um zu entscheiden, wen sie einstellen, müssen eine Risikobewertung durchführen, da sie ADMT „für eine wichtige Entscheidung in Bezug auf einen Verbraucher“ verwenden. Ein ADMT-gestütztes Einstellungsinstrument, das bestimmte Bevölkerungsgruppen unverhältnismäßig stark benachteiligt, müsste nachweisen, dass seine Vorteile diese Risiken überwiegen, oder es würde gemäß Artikel 10 ausgesetzt werden.

Risikobewertungen müssen alle drei Jahre oder bei wesentlichen Änderungen der Technologie oder der Datenverarbeitungsaktivitäten aktualisiert werden.[7] Dadurch wird sichergestellt, dass KI-Modelle auch bei ihrer Weiterentwicklung konform bleiben. Diese Bestimmungen verlangen einen Ausgleich zwischen Datenschutz und Innovation, um sicherzustellen, dass ADMT-Systeme verantwortungsbewusst und ethisch einwandfrei eingesetzt werden.

Transparenz und Rechenschaftspflicht

Artikel 11 verstärkt den Fokus auf Cybersicherheit in Artikel 9 und den vorausschauenden Risikomanagementrahmen in Artikel 10 und legt Regeln für Unternehmen fest, die ADMT nutzen, um Transparenz, Fairness und Verbraucherkontrolle zu gewährleisten.

Artikel 11 verpflichtet Unternehmen, Verbrauchern vor der Nutzung eine Mitteilung zukommen zu lassen, in der der Zweck der ADMT-Nutzung, ihre möglichen Ergebnisse und die Rechte der Verbraucher auf Ablehnung oder Zugriff auf die Logik und Ergebnisse des Systems detailliert beschrieben werden.[8] Damit soll Transparenz hinsichtlich der Verarbeitung und Nutzung personenbezogener Daten durch Unternehmen geschaffen werden, damit Verbraucher ihre Rechte an ihren Daten behalten können.

Zusätzlich zur Transparenz verpflichtet Artikel 11 Unternehmen dazu, die Leistung von ADMT-Systemen zu bewerten, um sicherzustellen, dass sie wie vorgesehen funktionieren und nicht zu unrechtmäßiger Diskriminierung führen.[9] Dazu gehört auch, die Systeme auf Voreingenommenheit zu testen und die Qualität ihrer Ergebnisse zu überprüfen. Mit diesen Anforderungen zielt Artikel 11 darauf ab, die Rechenschaftspflicht beim Einsatz von ADMT zu stärken und gleichzeitig die Verbraucherrechte zu schützen.[10]

Risiken im Zusammenhang mit agentenbasierter KI

Der Einsatz von agentenbasierter KI birgt mehrere Risiken, wie beispielsweise Verzerrungen bei der Entscheidungsfindung, die zu unfairen Ergebnissen führen können, insbesondere bei Einstellungs- oder Kreditvergabeszenarien. Darüber hinaus kann eine übermäßige Abhängigkeit von autonomen Systemen zu Betriebsstörungen führen, wenn Systeme ausfallen oder fehlerhafte Ergebnisse liefern. Die Datensicherheit bleibt ein kritischer Punkt, da sensible Informationen potenziell durch Verstöße oder Missbrauch gefährdet sind.

Strategien zur Eindämmung und Bewältigung

Um diesen Risiken zu begegnen, sollten Unternehmen strenge Test- und Validierungsprozesse einführen, um Verzerrungen zu erkennen und zu korrigieren. Durch den Einsatz robuster Cybersicherheitsmaßnahmen wie Verschlüsselung und regelmäßige Audits lassen sich Bedrohungen für die Datensicherheit mindern. Es sollten menschliche Kontrollmechanismen integriert werden, um kritische Entscheidungen der agentenbasierten KI zu validieren und so Verantwortlichkeit und Zuverlässigkeit sicherzustellen. Darüber hinaus sollten Unternehmen in die kontinuierliche Aus- und Weiterbildung ihrer Mitarbeiter investieren, damit diese KI-Systeme effektiv verstehen und verwalten können.

Die vorgeschlagenen Vorschriften des CCPA bieten einen regulatorischen Rahmen für die Einführung und Integration von agentenbasierter KI und ADMT. Das Whitepaper von OpenAI vom Dezember 2023 hebt hervor, dass agentenbasierte KI bei angemessener Governance die Produktivität steigern und gleichzeitig Sicherheit und Zuverlässigkeit gewährleisten kann.

Ein optimierter Prozess, bei dem agentenbasierte Tools zum Einsatz kommen, um den Zeitaufwand für die Entwicklung von Kundenbeziehungen und routinemäßige rechtliche Aufgaben zu reduzieren, verspricht Unternehmen erhebliche Effizienzsteigerungen. Die Cybersicherheitsanforderungen verringern das Risiko von Verbraucherschäden, indem sie personenbezogene Daten vor Verstößen schützen und die Zuverlässigkeit KI-gesteuerter Prozesse verbessern, insbesondere in Rechtsangelegenheiten, die vertrauliche Kundeninformationen betreffen. Die Betonung der Risikobewertung in Artikel 10 baut auf dieser Grundlage auf und verlangt von Unternehmen, Risiken gegen Chancen abzuwägen.

Die Verordnung stellt sicher, dass agentenbasierte KI-Innovationen gerecht bleiben und ethischen Standards entsprechen. Darüber hinaus zielen die Transparenzbestimmungen auf eine bessere Überwachung agentenbasierter KI-Systeme ab, um sicherzustellen, dass diese nicht nur effektiv, sondern auch für Endnutzer verständlich sind. Da agentenbasierte KI-Systeme für komplexere Entscheidungsszenarien entwickelt werden, wird Transparenz Regulierungsbehörden und privaten Parteien ein gewisses Maß an Kontrolle über die Systeme ermöglichen.

Mit dem transformativen Potenzial gehen jedoch neue Risiken einher, die möglicherweise nicht durch die vorgeschlagenen Bestimmungen des CCPA abgedeckt sind. Wie bei neuen Technologien üblich, hinkt die Gesetzgebung der Innovation hinterher. Wenn Unternehmen sich beeilen, agentenbasierte KI einzuführen, führt mangelnde Aufsicht zu Risiken in Form von verminderter Zuverlässigkeit der Ergebnisse, erhöhter Anfälligkeit für komplexe Entscheidungsergebnisse und Verdrängung von Arbeitskräften. Cybersicherheitsbedrohungen bleiben ein dringendes Problem, und die Kosten für die Einhaltung der Vorschriften sowie die Komplexität des Betriebs können eine breite Einführung behindern und zu Gesetzeslücken führen. Die Abwägungsprüfung gemäß § 7154(a) – bei der Datenschutzrisiken gegen betriebliche Vorteile abgewogen werden – kann subjektiv sein und Raum für Rechtsstreitigkeiten lassen. In ähnlicher Weise zwingen die Transparenzvorschriften von Artikel 11 Unternehmen dazu, die Logik hinter automatisierten Entscheidungen offenzulegen, was zu Konflikten zwischen Verbraucherrechten und dem Schutz geistigen Eigentums führen kann.

Schlussfolgerung

Agentische KI bietet transformatives Potenzial, bringt jedoch erhebliche rechtliche und ethische Herausforderungen mit sich. Die vorgeschlagenen CCPA-Vorschriften bieten eine Grundlage für die Bewältigung dieser Probleme, indem sie den Schwerpunkt auf Cybersicherheit, Risikobewertung und Transparenz legen. Da sich die rechtlichen Rahmenbedingungen weiterentwickeln, um mit den Innovationen Schritt zu halten, wird es entscheidend sein, ein Gleichgewicht zwischen Verantwortlichkeit und Fortschritt zu finden, um sicherzustellen, dass agentische KI verantwortungsbewusst und gerecht eingesetzt wird.

Die Implementierung robuster Governance-Rahmenwerke ist unerlässlich, um die Komplexität der agentenbasierten KI zu bewältigen. Solche Rahmenwerke leiten die Entwicklung und den Einsatz von KI-Modellen und fördern die Verwendung robuster, unvoreingenommener und hochwertiger Daten, um Ergebnisse zu erzielen. Sie reduzieren auch Compliance-Risiken, indem sie klare Richtlinien und Standards festlegen, die KI-Systeme mit gesetzlichen und regulatorischen Anforderungen in Einklang bringen und sicherstellen, dass KI-Lösungen ethisch und rechtlich einwandfrei funktionieren. Darüber hinaus erfordert die Integration von agentenbasierter KI in verschiedene Sektoren einen Paradigmenwechsel hin zu inklusivem Design und demokratischer Innovation. Dazu gehört, dass marginalisierte Gruppen nicht nur einfach in KI-Diskussionen „hinzugefügt” werden, sondern dass vielfältige Perspektiven integraler Bestandteil der KI-Entwicklung sind. Durch die Einbeziehung von Interessengruppen aus verschiedenen Disziplinen können wir neue Theorien, Bewertungsrahmen und Methoden entwickeln, um die Komplexität der KI-Ethik zu bewältigen und die KI-Entwicklung in eine Richtung zu lenken, die vorteilhaft und nachhaltig ist.

[1] Siehe § 7001 (f).

[2] Siehe § 7001. Definitionen (f)(4).

[3] Siehe § 7120; § 7121; § 7122; § 7123.

[4] Siehe § 7150(a)(3)(A).

[5] Siehe § 7152(a).

[6] Siehe § 7150(c)(1).

[7] Siehe § 7155(a)(2).

[8] Siehe § 7220(a)/(c); § 7222.

[9] Siehe § 7201(a)(1).

[10] Siehe § 7201(a)(2).