Wachsende Cyberbedrohungen und die Bedeutung von Robustheit

Das britische National Cyber Security Centre (NCSC) zitiert das KI wird die Cyberbedrohungen in den nächsten zwei Jahren erheblich erhöhen, in den letzten Monaten wurde den Risiken dieser Bedrohungen, die sich auf aktuelle Systeme auswirken, große Aufmerksamkeit geschenkt. Angesichts der Komplexität von KI-Modellen, die zu neuen Sicherheitslücken sowohl bei der Ausführung als auch bei der Anfälligkeit führen, stellt sich die Frage, wie die Branchen ihre Daten schützen und die Nutzung der Modelle sicherstellen werden, und werden diese neuen Tendenzen die Unternehmensstrategie erheblich beeinflussen?

‍

Cybersicherheit und KI-Anfälligkeit als wachsendes Problem

Cybersicherheitsbedrohungen und -vorfälle haben nicht zu vernachlässigende Wachstumsfaktoren, insbesondere in ihrer Schnittmenge mit KI. Abgesehen von der Umsetzung von Cybersicherheitsproblemen, wie etwa der Verbesserung der Fähigkeiten von Bedrohungsakteuren durch KI, die durch den unangemessenen Einsatz von KI hervorgerufen werden, hat auch die Anfälligkeit der KI-Systeme selbst zugenommen. Insbesondere nach außen gerichtete Systeme, hauptsächlich LLM-Modelle, fallen verschiedenen Formen neuartiger Sicherheitsrisiken zum Opfer.

‍

Infolgedessen wurden einzigartige Angriffsformen entwickelt, die berücksichtigt werden müssen, wenn technische Teams ihre KI-Portfolios schützen. Im Fall von LLMs, wie betrachtet in unserem vorherigen Blogbeitrag, das Folgende könnte das KI-Portfolio belagern:

‍

- Sofortige Injektionen, wo spezifische Eingabeaufforderungen LLM-Chatbots manipulieren und etablierte Filter umgehen können

- Datenleck, bei dem ein LLM in seinen Antworten versehentlich sensible Informationen preisgeben könnte, wodurch die Vertraulichkeit der Kunden und die Sicherheit der Unternehmensdaten gefährdet werden

- Unzureichendes Sandboxing, wo eine unzureichende Trennung der LLM-Umgebung von sensiblen Systemen zu erhöhten Sicherheitslücken führen kann — was die Bedeutung einer robusten Systemarchitektur unterstreicht

- Serverseitige Anforderungsfälschung, wo ein LLM so manipuliert werden kann, dass es unerwartete Anfragen ausführt oder auf eingeschränkte Ressourcen zugreift, was zu potenziellen Datenschutzverletzungen oder Systemunterbrechungen führen kann

- Ungenügende Zugriffskontrollen, wo eine schwache Implementierung von Zugriffskontrollen oder Authentifizierungsmechanismen das System einem unbefugten Zugriff aussetzen könnte, was die Sicherheitsrisiken erhöht.

- Datenvergiftung im Training, was die potenzielle Manipulation von Trainingsdaten beinhaltet, um Schwachstellen oder Vorurteile einzubetten, die die Reaktionen oder das Verhalten des LLM verzerren und dadurch dessen Effizienz und Wirksamkeit negativ beeinflussen könnten.

‍

Die Zunahme von Zwischenfällen angesichts von Robustheitsproblemen

Robustheit — die sich auf die Leistung des Modells unter verschiedenen Eingabebedingungen, die Widerstandsfähigkeit gegenüber verschobenen Datenverteilungen und die Sicherheit vor Eingabemanipulationen bezieht — berücksichtigt sowohl die Verarbeitungskapazitäten als auch die zugrunde liegenden Daten, aus denen das Modell besteht. Oft stehen Unternehmen vor Robustheitsproblemen (und sind sich des Problems häufig nicht bewusst), weil es an ausreichenden und akzeptablen Schulungsdaten sowie an adäquaten Modellspezifikationen mangelt. Infolgedessen kann eine solch geringe Robustheit böswilligen Angriffen weichen, die solche Sicherheitslücken ausnutzen und zu den oben genannten Methoden der Sicherheitsverletzung führen.

‍

Folglich müssen Unternehmen versuchen, eine Methode des KI-Risikomanagements einzuführen, um den Grad der Robustheit ihrer KI-Portfolios kontinuierlich zu bewerten, beispielsweise durch Software wie Calvin. Operativ müssen Unternehmen auch auf Folgendes achten

‍

(1) Aufrechterhaltung der Systemsicherheit durch die Durchsetzung strenger Zugriffskontrollen, die den LLM-Zugriff nur auf Daten autorisierter Benutzer einschränken,

(2) Schutz personenbezogener Daten indem LLMs Zugang nur gewährt wird, wenn sie das wissen müssen, und zwar im Kontext, der nicht in den Trainingsdaten enthalten ist, und

(3) Förderung einer respektvollen digitalen Kommunikation durch die Implementierung robuster und bereinigter Mechanismen zur Inhaltsfilterung.

‍

Cybersicherheit und das EU-Gesetz über künstliche Intelligenz

Cybersicherheit ist nicht nur als interne Steuerungs- und Sicherheitsmaßnahme von Bedeutung, sondern auch als bevorstehende regulatorische Anforderung. In dem demnächst verabschiedeten EU-Gesetz über künstliche Intelligenz (EUAIA) wurden spezielle Bestimmungen erlassen, um den Einsatz von KI in der gesamten Union zu schützen. Im Gesetz heißt es genau:

‍

„KI-Systeme mit hohem Risiko sollten während ihres gesamten Lebenszyklus konsistent funktionieren und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit aufweisen, je nach ihrem Verwendungszweck und gemäß dem allgemein anerkannten Stand der Technik.“

‍

Die EUAIA geht weiter auf die Bedeutung der Cybersicherheit im Rahmen der eigenen KI-Sicherheitsanforderungen ein und erwähnt dabei die erforderlichen Sicherheitskontrollen und die angemessene zugrundeliegende IKT-Infrastruktur. In dem Gesetz heißt es außerdem: „... Anbieter von [KI-Modellen] sollten ein angemessenes Maß an Cybersicherheitsschutz für das Modell und seine physische Infrastruktur sicherstellen, sofern dies angemessen ist, während des gesamten Modelllebenszyklus. Der Cybersicherheitsschutz im Zusammenhang mit systemischen Risiken im Zusammenhang mit der böswilligen Nutzung oder Angriffen sollte gebührend berücksichtigt werden versehentliches Auslaufen des Modells, nicht genehmigte Veröffentlichungen, Umgehung von Sicherheitsmaßnahmen, und Verteidigung gegen Cyberangriffe, unberechtigter Zugriff oder Modelldiebstahl“.

‍

Daher müssen diese Hinweise gemäß den von der EUAIA festgelegten Anforderungen erfüllt werden, die gleichwertig als die in Artikel 10 und Anhang I der Verordnung 2022/0272 dargelegten Cybersicherheitsstandards akzeptiert werden.

‍

Wie Unternehmen ihre KI-Modelle optimal gegen Angriffe schützen können

Bei Calvin haben wir die Bewertungstools entwickelt, um die dringend benötigten Robustheitsanforderungen bei der kommerziellen Nutzung von KI zu erfüllen und sicherzustellen, dass Ihr Unternehmen den größtmöglichen Nutzen aus diesen fortschrittlichen Technologien zieht. Bei der Bewertung der Robustheit von Modellen gegenüber ungewöhnlichen gegnerischen Eingaben können wir Ihnen aufgrund der langjährigen Erfahrung unseres Teams bei der Implementierung und Verwaltung der KI-Sicherheit und -Effizienz helfen, die Komplexität der KI-Bewertung und -Sicherheit effektiv zu bewältigen.

‍

Sind Sie daran interessiert, Ihre Reise zum KI-Risikomanagement zu beginnen? Lassen Sie uns gemeinsam herausragende KI-Fähigkeiten entfalten, buchen Sie noch heute eine Demo bei uns!