Das KI-Risikomanagement-Framework des NIST hilft Unternehmen dabei, KI-Risiken zu bewältigen

Wie bereits erwähnt, hat das National Institute of Standards and Technology (NIST) Anfang dieses Jahres das Trustworthy and Responsible AI Resource Center ins Leben gerufen. Das AI Resource Center umfasst das AI Risk Management Framework (RMF) des NIST sowie ein Handbuch, das Unternehmen und Einzelpersonen bei der Umsetzung des Frameworks unterstützt. Das RMF soll Anwendern und Entwicklern von KI dabei helfen, die Risiken von KI-Systemen zu analysieren und zu bewältigen, und bietet gleichzeitig praktische Leitlinien und Best Practices zur Bewältigung und Minimierung solcher Risiken. Es soll außerdem praktisch und anpassungsfähig an die sich wandelnden Rahmenbedingungen sein, da KI-Technologien immer ausgereifter werden und zunehmend zum Einsatz kommen.

In der ersten Hälfte des RMF werden diese Risiken erörtert, in der zweiten Hälfte wird erläutert, wie mit den Risiken umgegangen werden kann. Bei ordnungsgemäßer Umsetzung des AI RMF sollten Unternehmen und Nutzer von verbesserten Prozessen, einem höheren Bewusstsein und Wissen sowie einem stärkeren Engagement bei der Arbeit mit KI-Systemen profitieren. Das RMF beschreibt KI-Systeme als „technische oder maschinengestützte Systeme, die für eine bestimmte Reihe von Zielen Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen generieren können, die reale oder virtuelle Umgebungen beeinflussen. KI-Systeme sind so konzipiert, dass sie mit unterschiedlichen Autonomiestufen arbeiten.“

Risiken, Auswirkungen und Schäden durch KI-Systeme verstehen und angehen

Der Einsatz von KI-Systemen bietet Einzelpersonen und Organisationen (im RMF zusammenfassend als „Akteure” bezeichnet) eine Vielzahl von Vorteilen, darunter gesteigerte Produktivität und Kreativität. Das RMF erkennt jedoch an, dass KI-Systeme bei unsachgemäßer Verwendung auch Einzelpersonen, Organisationen und der Öffentlichkeit Schaden zufügen können. So wird im RMF beispielsweise dargelegt, dass KI-Systeme Diskriminierung verstärken, Sicherheitsrisiken für Unternehmen schaffen und Probleme im Zusammenhang mit dem Klimawandel verschärfen können. Das RMF ermöglicht es den Akteuren, sowohl die positiven als auch die negativen Auswirkungen von KI-Systemen auf koordinierte Weise anzugehen.

Wie viele Cybersicherheitsexperten wissen, ist das Risiko eine Funktion der Wahrscheinlichkeit, dass ein Ereignis eintritt, und des Schadens, der dadurch entstehen könnte. Zu den negativen Folgen können Schäden für Menschen, Organisationen oder ein Ökosystem gehören. In der Praxis lässt sich das Risiko nur schwer genau quantifizieren, da die Wahrscheinlichkeit des Eintretens eines Ereignisses mit erheblicher Unsicherheit behaftet sein kann und es oft schwierig ist, die Auswirkungen der Schäden zu erkennen, sollten diese eintreten. Das RMF beschreibt einige dieser Herausforderungen, darunter:

• Risiken im Zusammenhang mit Software, Hardware und Daten von Drittanbietern: Daten oder Systeme von Drittanbietern können zwar nützlich sein, um die Entwicklung von KI-Systemen zu beschleunigen, stellen jedoch Unbekannte dar, die die Risikomessung erschweren können. Darüber hinaus verwenden die Nutzer von KI-Systemen diese Systeme möglicherweise nicht so, wie es ihre Entwickler und Anbieter beabsichtigt haben. Entwickler und Anbieter von KI-Systemen können überrascht sein, wenn sich die Verwendung der KI-Systeme in einem Produktionssystem erheblich von der Verwendung in einer kontrollierten Entwicklungsumgebung unterscheidet.
• Verfügbarkeit zuverlässiger Messgrößen: Die Berechnung der potenziellen Auswirkungen oder Schäden bei der Verwendung von KI-Systemen ist komplex und kann viele Faktoren umfassen.
• Risiken in verschiedenen Phasen des KI-Lebenszyklus: Akteure, die ein handelsübliches System verwenden, müssen sich anderen Risiken stellen als Akteure, die ihr eigenes System aufbauen und trainieren. Das RMF erkennt an, dass Unternehmen ihre eigene Risikotoleranz bestimmen müssen und dass einige Organisationen je nach rechtlichem oder regulatorischem Kontext bereit sein können, mehr Risiken zu tragen als andere. Das RMF erkennt jedoch an, dass es nicht effizient oder kosteneffektiv ist, alle Risiken anzugehen und zu minimieren, und dass Unternehmen Prioritäten setzen müssen, welche Risiken sie angehen wollen. Ähnlich wie Unternehmen mit Cybersicherheits- und Datenschutzrisiken umgehen sollten, schlägt das RMF vor, das Risikomanagement in die Unternehmenspraktiken zu integrieren, da sich unterschiedliche Risiken in verschiedenen Phasen der Unternehmenspraktiken zeigen werden.

  Das RMF erkennt auch an, dass Vertrauenswürdigkeit ein wesentliches Merkmal von KI-Systemen ist. Vertrauenswürdigkeit hängt mit dem Verhalten der Akteure, den von KI-Systemen verwendeten Datensätzen, dem Verhalten der Nutzer und Entwickler von KI-Systemen und der Art und Weise zusammen, wie die Akteure diese Systeme überwachen. Das RMF schlägt vor, dass die folgenden Merkmale die Vertrauenswürdigkeit eines KI-Systems beeinflussen:

• Validierung und Zuverlässigkeit: Die Akteure sollten in der Lage sein, zu bestätigen, dass das KI-System bestimmte Anforderungen erfüllt und unter bestimmten Bedingungen fehlerfrei funktioniert.
• Sicherheit: KI-Systeme dürfen Menschenleben, Gesundheit, Eigentum oder Umwelt nicht gefährden.
• Sicherheit und Ausfallsicherheit: KI-Systeme sollten in der Lage sein, auf unerwartete negative Ereignisse und Veränderungen zu reagieren und sich davon zu erholen.
• Verantwortlichkeit und Transparenz: Die Akteure sollten Zugang zu Informationen über KI-Systeme und deren Ergebnisse haben.
• Erklärbarkeit und Interpretierbarkeit: KI-Systeme sollten in der Lage sein, den Akteuren die angemessene Menge an Informationen zur Verfügung zu stellen und ein gewisses Maß an Verständnis zu vermitteln.
• Verbesserung des Datenschutzes: Bei der Gestaltung von KI-Systemen sollten gegebenenfalls Werte wie Anonymität, Vertraulichkeit und Kontrolle berücksichtigt werden.
• Fairness mit schädlichen Vorurteilen: KI-Systeme bergen das Risiko, bereits bestehende Diskriminierungen zu perpetuieren und zu verschärfen. Die Akteure sollten darauf vorbereitet sein, solche Vorurteile zu verhindern und abzuschwächen.

KI-RMF-Risikomanagement-Kern und Profile

Im Kern des AI RMF (RMF Core) stehen grundlegende Funktionen, die ein Rahmenwerk bieten sollen, um Unternehmen bei der Entwicklung vertrauenswürdiger KI-Systeme zu unterstützen. Diese Funktionen sind: Steuern, Abbilden, Messen und Verwalten, wobei die Funktion „Steuern” darauf ausgelegt ist, alle anderen Funktionen zu beeinflussen.

Abbildung 1: Kernbereiche des Risikomanagements (NIST AI 100-1, Seite 20).

Jede dieser Funktionen ist weiter in Kategorien und Unterkategorien unterteilt, die darauf ausgelegt sind, die übergeordneten Funktionen zu erfüllen. Angesichts der Vielzahl von Unterkategorien und vorgeschlagenen Maßnahmen ist der RMF Core nicht als Checkliste gedacht, die Unternehmen lediglich zum „Abhaken” verwenden. Stattdessen empfiehlt der AI RMF, dass das Risikomanagement kontinuierlich, zeitnah und während des gesamten Lebenszyklus der KI-Systeme durchgeführt werden sollte.

Das AI RMF erkennt auch an, dass es beim Risikomanagement keinen „Einheitsansatz“ gibt. Die Akteure sollten ein Profil erstellen, das speziell auf den Anwendungsfall des KI-Systems zugeschnitten ist, und die geeigneten Maßnahmen auswählen, um die vier Funktionen zu erfüllen. Während das AI RMF den Prozess beschreibt, enthält das AI RMF-Playbook detaillierte Beschreibungen und nützliche Informationen zur Umsetzung des AI RMF in einigen gängigen Situationen (allgemein als Profile bezeichnet). Die RMF-Profile unterscheiden sich je nach Branche, Technologie oder Verwendung. So würde sich beispielsweise ein Profil für den Beschäftigungskontext von einem Profil zur Erkennung von Kreditrisiken und Betrug unterscheiden und andere Risiken behandeln.

Der RMF-Kern umfasst die folgenden Funktionen:

• Governance. Eine starke Governance ist wichtig für die Entwicklung interner Praktiken und Normen, die für die Aufrechterhaltung des Risikomanagements in Organisationen entscheidend sind. Die Governance-Funktion beschreibt Kategorien, die bei der Umsetzung der Richtlinien und Praktiken der drei anderen Funktionen helfen, indem sie Strukturen für die Rechenschaftspflicht, Vielfalt am Arbeitsplatz und Barrierefreiheitsprozesse schaffen, damit KI-Risiken von einem Team mit unterschiedlichen Sichtweisen bewertet werden, und indem sie Organisationsteams entwickeln, die sich einer Kultur der Sicherheit vorrangig vor KI-Praktiken verschrieben haben.
• Karte. Die Kartenfunktion hilft Akteuren dabei, Risiken bei der Nutzung von KI-Systemen in einen Kontext zu setzen. Durch die Umsetzung der unter „Karte“ aufgeführten Maßnahmen sind Organisationen besser in der Lage, potenzielle Ursachen für negative Risiken zu antizipieren, zu bewerten und anzugehen. Zu den Kategorien dieser Funktion gehören unter anderem die Festlegung und das Verständnis des Kontexts von KI-Systemen, die Kategorisierung des KI-Systems, das Verständnis der Risiken und Vorteile für alle Komponenten des KI-Systems sowie die Identifizierung der Personen und Gruppen, die davon betroffen sein könnten.
• Messen. Die Messfunktion nutzt quantitative und qualitative Instrumente, um KI-Risiken zu analysieren und zu überwachen und um Akteuren die Möglichkeit zu geben, den Einsatz ihrer KI-Systeme zu bewerten. Die Messungen sollten verschiedene Ziele verfolgen, wie z. B. Vertrauenswürdigkeit, soziale Auswirkungen und Qualität der Interaktionen zwischen Mensch und KI. Zu den Kategorien der Messfunktion gehören die Identifizierung und Anwendung geeigneter Methoden und Metriken, die Bewertung von Systemen hinsichtlich ihrer Vertrauenswürdigkeit, die Implementierung von Mechanismen zur langfristigen Verfolgung identifizierter Risiken und das Sammeln von Feedback zur Wirksamkeit der Messungen.
• Verwalten. Nach der Ermittlung der relevanten Risiken und der angemessenen Risikotoleranz unterstützt die Verwaltungsfunktion Unternehmen dabei, Risiken zu priorisieren, Ressourcen angemessen zuzuweisen, um die höchsten Risiken anzugehen, und eine regelmäßige Überwachung und Verbesserung des KI-Systems zu ermöglichen. Zu den Kategorien der Verwaltungsfunktion gehören die Priorisierung von Risiken nach der Bewertung aus der Kartierung und Messung, die Entwicklung von Strategien zur Maximierung der Vorteile und Minimierung der Schäden der KI sowie das Management von KI-Risiken durch Dritte.

Auf diese Weise liefert das Playbook konkrete, umsetzbare Vorschläge, wie die vier Funktionen erreicht werden können.

Auswirkungen auf Unternehmen

Das AI RMF hilft Unternehmen dabei, ein robustes Governance-Programm zu entwickeln und Risiken für ihre KI-Systeme anzugehen. Obwohl die Verwendung des AI RMF derzeit in keinem Gesetzesentwurf (einschließlich des EU-Gesetzes über künstliche Intelligenz) vorgeschrieben ist, wird sich das AI RMF, wie auch andere NIST-Standards und -Leitlinien, zweifellos als nützlich erweisen, um Unternehmen dabei zu unterstützen, die Anforderungen solcher Gesetze an die Risikoanalyse auf strukturierte und wiederholbare Weise zu erfüllen. Daher sollten Unternehmen, die die Bereitstellung oder Nutzung von KI-Systemen in Betracht ziehen, auch die Verwendung des AI RMF in Betracht ziehen, um die Risiken zu analysieren und zu minimieren. Unternehmen können aufgefordert werden, den Aufsichtsbehörden die im Rahmen ihrer Verwendung des AI RMF erstellten hochrangigen Unterlagen vorzulegen, und können auch in Betracht ziehen, diese Unterlagen ihren Kunden zur Verfügung zu stellen, um Bedenken auszuräumen und das Vertrauen zu stärken.

Die Autoren bedanken sich herzlich für den Beitrag von Mathew Cha, Student an der UC Berkeley School of Law und Sommerpraktikant 2023 bei Foley & Lardner LLP.