Entschlüsselung von LLM-Risiken: Ein umfassender Blick auf die unbefugte Codeausführung

Im modernen digitalen Zeitalter erregt das Problem der unbefugten Codenutzung mehr Aufmerksamkeit als je zuvor. Mit dem Fortschritt der KI-Technologie steigen auch die damit verbundenen Cybersicherheitsrisiken. Die jüngste Aufregung rund um KI-Sprachmodelle wie Öffnen Sie KIChatGPT hat die Dringlichkeit der Situation nur noch verstärkt. Das rasche Auftauchen der unbefugten Codenutzung als Hauptbedrohung sowie die neuen Funktionen von KI-Modellen wie ChatGPT haben berechtigte Bedenken hinsichtlich eines möglichen Missbrauchs geweckt.

‍

Verstehen, was unbefugte Verwendung von Code ist

Also, was genau bedeutet unautorisierte Verwendung von Code? Einfach ausgedrückt handelt es sich um das Ausnutzen, Ändern oder Kopieren von Softwarecode ohne die Zustimmung seines rechtmäßigen Eigentümers oder Erstellers. Dies kann von der Manipulation von Software für gefährliche oder schädliche Zwecke, wie z. B. die Erstellung von Schadsoftware, bis hin zur Ausnutzung erkannter Sicherheitslücken in einem System für unbefugten Zugriff oder böswillige Absichten reichen. Es handelt sich um eine Form der Cyberbedrohung, die sowohl Einzelpersonen als auch Unternehmen vor große Herausforderungen stellt. (Quelle: Unautorisierte Codeausführung (allassignmenthelp.com)

‍

Im Kontext großer Sprachmodelle (LLMs) wie OpenAIs ChatGPT, unautorisierte Codeausführung kann auftreten, wenn das KI-Modell manipuliert wird, um bösartigen Code zu generieren. Da diese Modelle in der Lage sind, Text auf der Grundlage bestimmter Eingabeaufforderungen zu generieren, könnten sie möglicherweise von weniger erfahrenen Personen oder Cyberkriminellen genutzt werden, um schädliche Skripte und Tools zu erstellen. (Quelle:Die 10 wichtigsten LLM-Risiken von OWASP — was wir gelernt haben | Vulcan Cyber)

‍

Lesen Sie mehr: ChatGPT verspricht, KI zum Schreiben von Malware zu verwenden | CyberScoop

‍

Die von LLMs erzeugte Ausgabe wird häufig verwendet, um Aufgaben mit anderen Systemen oder Tools wie APIs, Datenbankabfragen oder der Ausführung beliebigen Codes auszuführen. Die unbefugte Ausführung von Code kann in diesen Szenarien schwerwiegende Folgen haben. Die Fähigkeit von LLMs, bösartigen Code zu generieren, ermöglicht es einem Angreifer in Kombination mit ihrem Kontextwissen über das System oder Tool, das dem Modell zur Verfügung gestellt wird, hochpräzise Exploits zu erstellen. Ohne angemessene Maßnahmen kann dies zu schwerwiegenden Folgen wie Datenverlust, unbefugtem Zugriff oder sogar Systemüberfall führen.

‍

Szenarien aus der realen Welt: Missbrauch von KI-Tools

Mit der Entwicklung der KI-Technologie haben wir einen Anstieg potenzieller Risiken festgestellt. Eine aktuelle Studie von Kontrollpunkt Die Forschung liefert Beispiele aus der Praxis für diese Gefahren.

‍

In der Blog In einem von ihnen geteilten Beitrag konnten die Forscher ChatGPT, ein KI-Sprachmodell, davon überzeugen, eine überzeugende gefälschte E-Mail zu verfassen. Diese E-Mail sah aus, als käme sie von einem fiktiven Webhosting-Dienst namens Host4u. Obwohl OpenAI eine Warnung ausgab, dass es sich bei der Aufgabe um unangemessenen Inhalt handeln könnte, generierte das KI-Modell letztendlich die Phishing-E-Mail.

‍

Was als nächstes geschah, war noch besorgniserregender. Ausgehend von der gefälschten E-Mail erstellten die Forscher schädliche Computeranweisungen, die geschickt in einem Excel-Dokument versteckt waren. Die Studie zeigte, dass ChatGPT diese schädlichen Codes erzeugen kann, wenn ChatGPT die richtigen Textanweisungen erhält.

‍

Um ihren simulierten Cyberangriff zu beenden, verwendeten die Forscher ein anderes KI-Tool, Codex, um eine einfache Reverse-Shell zu erstellen, eine Art Hintertürzugang zu einem Computer. Das Endprodukt? Eine Excel-Datei, die normal aussah, aber schädliche Anweisungen enthielt, die das Computersystem eines Benutzers übernehmen könnten. Dies alles wurde mit Hilfe ausgeklügelter KI-Tools erreicht.

‍

Lesen Sie mehr: Check Point: ChatGPT kann bösartige E-Mails und Code verfassen - (sdxcentral.com)

‍

In einer anderen separaten Studie zeigten Sicherheitsforscher, dass ChatGPT zur Entwicklung von Ransomware verwendet werden kann, einer Art bösartiger Software, die Benutzer von ihren eigenen Dateien aussperrt, bis ein Lösegeld gezahlt wird. Die Forscher nutzten ChatGPT, um eine gefälschte E-Mail-Kampagne und schädliche Software für macOS, das auf Apple-Computern verwendete Betriebssystem, zu erstellen. Die schädliche Software war in der Lage, Microsoft Office-Dateien auf einem Apple-Laptop zu finden, sie über das Internet an einen Webserver zu senden und diese Dateien dann auf dem Laptop zu sperren. Dieses Szenario zeigt, wie einfach KI-Tools für schädliche Zwecke ausgenutzt werden können.

‍

Lesen Sie mehr: Wie ChatGPT jeden zu einem Ransomware- und Malware-Bedrohungsakteur machen kann | VentureBeat

‍

KI-Tools, um den Risiken der unbefugten Codenutzung entgegenzuwirken

Obwohl KI-Tools wie ChatGPT in der Tat potenzielle Sicherheitsherausforderungen darstellen können, sehen viele Experten sie auch als starke Verbündete bei der Stärkung der Abwehr von Cyberbedrohungen. Es ist erwähnenswert, dass es derzeit nicht möglich ist, definitiv festzustellen, ob eine böswillige Cyberaktivität durch KI-Tools wie ChatGPT unterstützt wurde.

‍

Lass uns nehmen Kyle Hanslovan, zum Beispiel der Mitbegründer der Cybersicherheitsfirma Jägerinund war früher Teil des Cyber-Exploit-Entwicklungsteams der US-Regierung. Er glaubt, dass KI-Tools wie ChatGPT bestimmte Einschränkungen aufweisen. Sie sind noch nicht ausgereift, um komplexe und neuartige Cyberbedrohungen zu entwickeln, die denen von Hackern auf nationaler Ebene ähneln. Sie können jedoch die Qualität von Phishing-E-Mails drastisch verbessern, insbesondere für diejenigen, deren Muttersprache nicht Englisch ist, wodurch die Risiken erhöht werden. Interessanterweise sieht Hanslovan auch einen Hoffnungsschimmer: Tools wie ChatGPT könnten Cyber-Verteidigern irgendwann einen Vorteil gegenüber Angreifern verschaffen.

‍

Dann gibt es Juan Andres Guerrero-Saade, Senior Director von Sentinel Labs bei SentinelOne, der die Fähigkeiten von ChatGPT beim Verständnis von Code bewundert. Er ist besonders beeindruckt von seiner Effizienz in den komplexen Bereichen Reverse Engineering und Deobfuscation — dem Prozess, bei dem versteckte Aspekte von bösartigem Quellcode aufgedeckt werden. Für ihn sind Tools wie ChatGPT nicht nur zeitsparende, sondern auch kostengünstigere Alternativen zu teurer Software. (Quelle: ChatGPT birgt laut Forschern Propaganda- und Hacking-Risiken - Bloomberg (archive.is))

‍

Proaktive Strategien zur Verhinderung der unbefugten Verwendung von Code

Um die Risiken zu minimieren, die mit der unbefugten Codeausführung in großen Sprachmodellen (LLMs) wie ChatGPT verbunden sind, ist es wichtig, proaktive Maßnahmen zu ergreifen. Die Überprüfung der Qualität und Authentizität der Daten, die zum Training von KI-Tools verwendet werden, ist unerlässlich, um sicherzustellen, dass die vom Modell generierten Antworten zuverlässig sind. Umfassende Evaluierungen können zur Verbesserung und Verfeinerung des Modells beitragen, und das Feedback von Experten kann bei der Identifizierung und Behebung potenzieller Probleme helfen. Es ist auch wichtig, vertrauenswürdige Output-Filtermechanismen zu integrieren, um das Risiko des Missbrauchs und der Ausbeutung von Modellen zu verringern.

‍

Darüber hinaus ist es wichtig, die Sicherheit der Systeme bei der Verwendung von KI-Tools aufrechtzuerhalten. Funktionen wie das Ausführen von Codes oder Abfragen sollten eingeschränkt werden, wenn sie nicht erforderlich sind. KI-Tools sollten auch eingeschränkten Zugriff auf Ressourcen und Informationen erhalten, die möglicherweise für böswillige Zwecke missbraucht werden könnten. Beispielsweise sollte ein Kundenservice-Bot keinen Zugriff auf APIs haben, über die er Kundendaten ändern oder löschen kann. Für Operationen mit hohem Risiko sollte eine menschliche Genehmigung erforderlich sein.

‍

Ein weiterer wichtiger Schritt beim Umgang mit Risiken im Zusammenhang mit LLMs wie ChatGPT besteht darin, Teil einer Community zu werden, die aktiv darüber diskutiert und nach Möglichkeiten sucht, den vertrauenswürdigen und gesetzeskonformen Einsatz von KI zu verbessern. Der Dialog mit anderen vor Ort tätigen Personen kann wertvolle Erkenntnisse und praktische Lösungen für die Herausforderungen liefern, mit denen Sie möglicherweise konfrontiert sind.

‍

Lesen Sie mehr: Große Sprachmodelle (LLMS) in Kundensupport-Chatbots (calvin-risk.com)

‍

Und natürlich kann die Beratung durch Experten von unschätzbarem Wert sein. Zusammenarbeit mit Organisationen wie Calvin Risk, das sich auf genau diesen Bereich spezialisiert hat, kann erhebliche Vorteile bieten. Sie können Unternehmen, die LLMs in ihren Betrieben implementieren möchten, maßgeschneiderte Beratung und Anleitung bieten. Sie können Ihnen nicht nur dabei helfen, sich in der komplexen Landschaft der KI-Vorschriften wie dem EU-KI-Gesetz zurechtzufinden, sondern sie können Sie auch dabei unterstützen, Ihr Risiko zu managen. Indem Sie ihr Fachwissen nutzen, können Sie sicherstellen, dass Ihr Einsatz von KI sowohl sicher als auch gesetzeskonform ist, und so Ihr Unternehmen und Ihre Kunden schützen.