Calvins KI-Risikomanagement-Framework

Wir stellen vor: Unser KI-RMF

‍

Da künstliche Intelligenz unser Leben weiter verändert, ist es wichtig sicherzustellen, dass die Technologie auf eine Weise entwickelt und eingesetzt wird, die vertrauenswürdig, sicher und den Gesetzen, Vorschriften und Standards entspricht. Ein angemessenes Risikomanagement ist ein entscheidender Aspekt bei der Entwicklung einer vertrauenswürdigen KI und erfordert eine Kombination aus technischen, ethischen und regulatorischen Überlegungen. In diesem Blogbeitrag werden wir die wichtigsten Schritte zur Schaffung einer vertrauenswürdigen KI mithilfe eines geeigneten Risikomanagement-Frameworks untersuchen.

‍

Das aiRisk Management Framework (RMF) von Calvin bietet einen risikoorientierten Prozess, der diese technischen, ethischen und regulatorischen Überlegungen über den gesamten KI-Lebenszyklus hinweg integriert — von der Planung über die Entwicklung und Bereitstellung bis hin zu Aktivitäten nach der Bereitstellung. Unser RMF entspricht dem KI-Risikomanagement-Framework des US-amerikanischen NIST (National Institute of Standards and Technology) sowie dem OECD-Bericht „Governing and management risks throughout the lifecycle for trustworthy AI“ und enthält fünf Richtlinien für Prozessschritte zur Risikoerkennung, -minderung und -minimierung.

‍

In der Regel sollte der erste Schritt in einem KI-Lebenszyklus darin bestehen, einen Plan und eine Strategie für das KI-Projekt zu erstellen. Dazu gehört die Definition von Zielen und die Planung, wie das Projekt durchgeführt wird, um diese Ziele zu erreichen. Dazu gehören die Identifizierung effektiver Datenquellen, die Auswahl geeigneter Algorithmen und die Festlegung der richtigen Erfolgskriterien. Im zugehörigen RMF-Prozessschritt“Definieren„, die entsprechenden Leistungskennzahlen sind definiert. Neben der Definition der technischen Qualitätsmaßnahmen ist es außerdem wichtig, die Prozess-, Verantwortungs- und Kontrollaspekte nicht zu vernachlässigen. Die verschiedenen Interessengruppen, die für das Modell (technisch) oder den Anwendungsfall (geschäftlich) verantwortlich sind, sollten definiert werden. Alle Prozessschritte bei der Entwicklung, dem Testen, der Veröffentlichung, der Wartung usw. sollten klar kommuniziert und implementiert werden. Schließlich sollten die erforderliche technische und geschäftliche Dokumentation sowie die Kontrolle durch Protokollierung und Überwachung der Aktivitäten eingeführt werden.

Der zweite KI-Lebenszyklus beinhaltet häufig das Sammeln und Aufbereiten von Daten für die Analyse. Die gesammelten Daten werden vorverarbeitet, indem sie formatiert, bereinigt und in ein geeignetes Schema umgewandelt werden, das das maschinelle Lernmodell verarbeiten kann. Gleichzeitig unser zweiter RMF-Schritt“Einrichtung“ hat Teams die Kontroll- und Überwachungsmethoden eingerichtet, die im ersten Schritt definiert wurden. Darüber hinaus ist die Einrichtung einer kontinuierlichen Risikomanagementmethode erforderlich. Es kann sehr komplex sein, dies aus dem Stegreif zu bewerkstelligen (insbesondere, da das KI-Risikomanagement neu auftretende Risiken beinhaltet). Es gibt jedoch eine Problemumgehung. Mit unserer Risikomanagement-Plattform Calvin kann dieser Schritt erheblich vereinfacht werden, da dieser Schritt bereits für einen KI-zentrierten Risikomanagementansatz vorbereitet ist. Sobald ein kontinuierliches Risikomanagement eingeführt ist, ist es wichtig, eine angemessene Definition risikobasierter Qualitätskriterien für KI-Modelle und ihre Anwendungsfälle zu wählen. Nur wenn diese erfüllt sind, kann ein Modell eingesetzt werden (oder weiterhin eingesetzt werden).

Das Erstellen und Testen des KI-Modells steht als Nächstes im KI-Lebenszyklus an. Der Entwicklungsschritt umfasst das Design und das Training des Modells sowie das Testen von Leistungsmetriken (die im ersten RMF-Schritt „Definieren“ ausgewählt wurden) anhand eines Test- und Validierungsdatensatzes. Wenn die Leistung nicht den Qualitätskriterien entspricht (die im zweiten RMF-Schritt „Setup“ ausgewählt wurden), muss das Modell optimiert werden, bis die Werte der Maßnahmen verbessert werden können. Sobald dies geschehen ist, ist es entscheidend, die Reproduzierbarkeit des entwickelten Modells in einem konsistenten Modell- und Datenformat sicherzustellen. Dieser letzte Teil der Reproduzierbarkeit ist ein RMF-Schritt, den wir als“Initialisieren“.

Nachdem die Qualität und Reproduzierbarkeit des Modells sichergestellt wurden, ist es nun an der Zeit, das Modell in einer Produktionsumgebung einzusetzen. Vor dem Einsatz des Modells müssen jedoch unbedingt die technischen (ein Teil davon wurde im vorherigen Schritt bereits abgeschlossen), ethischen und rechtlichen Risiken bewertet werden. In diesem Schritt ist es wichtig, die Robustheit des Modells in der neuen Produktionsumgebung zu bewerten. Dieses RMF“Beurteilen„Dieser Schritt sollte zunächst vor der ersten Einführung des Modells durchgeführt werden. Darüber hinaus ist es ratsam, die Risikobewertung — oder zumindest einen Teil davon — jedes Mal durchzuführen, wenn das KI-System neu modelliert oder neu trainiert wird. Ergibt die Überwachung des Systems zudem, dass sich die Risikoindikatoren im Laufe der Zeit verschlechtern, ist eine zusätzliche Risikobewertung und möglicherweise eine Anpassung des Modells erforderlich. Auch hier hilft die Risikomanagement-Plattform von Calvin dabei, wichtige KI-spezifische Risiken effektiv zu bewerten, und macht diesen Schritt zum Kinderspiel.

Schließlich besteht ein großer Teil des KI-Lebenszyklus darin, das Modell zu überwachen und zu warten, um seine Zuverlässigkeit vor Ort sicherzustellen. Auf Veränderungen in der Produktionsumgebung zu reagieren und im Falle von Vorfällen, bei denen das Modell eine Fehlleistung erbracht hat, ist die Durchführung einer umfassenden Ursachenanalyse der Ursachen der Schlüssel zu einem nachhaltigen Weg zu einer vertrauenswürdigen, sicheren und gesetzeskonformen KI. Wir nennen das RMF-Phase“Reagieren“. Die Identifizierung und Bewältigung aller auftretenden Probleme, wie z. B. ein Konzept oder Datendrift, Modellverfall oder sich ändernde Geschäftsanforderungen und Technologietrends, hat hier oberste Priorität. Dazu kann es erforderlich sein, das Modell mit neuen Daten neu zu trainieren, den Algorithmus oder die Hyperparameter zu aktualisieren oder das Modell sogar vollständig durch ein geeigneteres Modell zu ersetzen. Im RMF-Schritt steht das Ziel im Mittelpunkt, Risiken zu minimieren, indem alles angepasst wird, was angepasst werden muss. Dies kann nicht nur den Modellaufbau, sondern auch Prozesse oder Standards beinhalten. Da es sich um einen Zyklus handelt, kann „React“ alle anderen RMF-Schritte von „Erneut definieren“ bis „Erneut bewerten“ erneut auslösen.

‍