KI-Illusionen: Die Risiken und Auswirkungen von Halluzinationen verstehen

Einführung

Da sich Large Language Models (LLMs) in digitalen Bereichen weiter verbreiten, werden ihre Fähigkeiten zur Generierung menschenähnlicher Reaktionen für eine Vielzahl von Anwendungen genutzt. Diese hochentwickelten Modelle, die durch Fortschritte in der Verarbeitung natürlicher Sprache gestärkt werden, versprechen, als reichhaltiges Wissensreservoir zu dienen, das nuancierte und präzise Antworten auf vielfältige Fragen liefert. Doch das alleinige Vertrauen in LLMs als wahre Informationsquellen birgt nicht ohne Risiken — Risiken, die sich aus den „Halluzinationen“ ergeben, denen diese Modelle ausgesetzt sein könnten, und dem Fehlen einer Bestätigung für ihre generierten Antworten. Dieser Blog untersucht die Feinheiten dieser LLM-induzierten Halluzinationen, die lauernde Gefahr von Ungenauigkeiten und falschen Zitaten und die tiefgreifenden gesellschaftlichen Auswirkungen, die diese Probleme haben können. Wir werden uns auch mit aufschlussreichen Fällen aus der AI Incident Database befassen und die Folgen einer ungeprüften Abhängigkeit von LLMs für wichtige Informationen veranschaulichen. Darüber hinaus werden wir das Calvin Risk Framework vorstellen, ein innovatives Tool zur Bewältigung der Komplexität und Herausforderungen im Zusammenhang mit KI-Implementierungen.

‍

Die Fallstricke der Halluzination und die Gefahr falscher Zitate

Ein wichtiges Problem bei der Verwendung von LLMs als Informationsquellen ist ihre Neigung, Antworten zu generieren, die möglicherweise nicht auf der tatsächlichen Realität beruhen. Obwohl diese Modelle mit einem Meer von Daten trainiert wurden, haben sie keinen Echtzeitzugriff auf aktuelle Informationen und können die Richtigkeit ihrer Antworten nicht selbst überprüfen. Dies kann zu Fällen führen, in denen LLMs Fakten mit einem Anschein unerschütterlicher Gewissheit erfinden und so einen trügerischen Anschein von Autorität erwecken.

‍

Der Welleneffekt auf Menschenleben

Die Auswirkungen von Halluzinationen bei LLM-generierten Reaktionen sind weitreichend. Um dies zu unterstreichen, werden wir unsere Aufmerksamkeit auf einige dokumentierte Vorfälle in der AI Incident Database richten:

‍

ChatGPT hat einen Skandal um sexuelle Belästigung ausgelöst und fälschlicherweise einen echten Juraprofessor beschuldigt‍

Bei einem bedeutenden Vorfall mit dem KI-Chatbot ChatGPT wurde der Juraprofessor Jonathan Turley fälschlicherweise der sexuellen Belästigung beschuldigt. Für eine Forschungsstudie, die von einem Anwalt in Kalifornien durchgeführt wurde, generierte ChatGPT eine Liste von Rechtswissenschaftlern, die jemanden sexuell belästigt hatten, und enthielt Turleys Namen. Der KI-Bot behauptete, Turley habe während einer Klassenfahrt nach Alaska sexuell anzügliche Kommentare abgegeben und versucht, einen Schüler anzufassen, wobei er einen angeblichen Artikel der Washington Post vom März 2018 als Informationsquelle zitierte. Es gab jedoch nie eine Klassenfahrt nach Alaska, einen solchen Artikel gibt es nicht, und Turley bestreitet, jemals beschuldigt worden zu sein, einen Schüler belästigt zu haben.

‍

(Quelle: Was passiert, wenn ChatGPT über echte Menschen lügt? - Die Washington Post)

‍

‍

Meta AI Bot hat zu falschen Recherchen und Unsinn beigetragen

‍Bei einem anderen Vorfall deaktivierte Meta (ehemals Facebook) vorübergehend seinen KI-Bot Galactica, da der Bot Fehlinformationen generierte. Die KI wurde entwickelt, um Akademiker und Forscher dabei zu unterstützen, schnell relevante Studien und Artikel zu finden. Sie war mit Milliarden von Tokens an frei zugänglichen wissenschaftlichen Texten und Daten trainiert worden. Der Bot begann jedoch, falsche Zitate und falsche Informationen zu produzieren. Kurz nach dem öffentlichen Debüt des Bots meldeten Benutzer rassistische und ungenaue Antworten. Dazu gehörten falsche Behauptungen über den Sprachgebrauch von Schwarzen und Einwanderern, die angeblichen Vorteile des Verzehrs von zerstoßenem Glas und eine „Gaydar“ -Software, die angeblich von Forschern der Stanford University entwickelt wurde.

‍

(Quelle: Meta AI Bot trägt zur gefälschten Online-Recherche bei)

‍

‍

Ein Technologieunternehmen, das sich auf psychische Gesundheit konzentriert, führte ein höchst umstrittenes KI-Experiment an tatsächlichen Benutzern durch

‍Ein Technologieunternehmen für psychische Gesundheit namens Koko führte kürzlich ein KI-Beratungsexperiment durch, das kritisiert wurde. Koko ist ein Online-Support-Chat-Dienst, bei dem Benutzer mit anonymen Freiwilligen in Kontakt treten können, um ihre Probleme zu besprechen und Rat einzuholen. Es wurde jedoch festgestellt, dass eine zufällige Auswahl von Benutzern Antworten erhielt, die teilweise oder vollständig von KI geschrieben wurden, ohne angemessen darüber informiert zu sein, dass sie nicht mit echten Personen interagierten. Koko teilte die Ergebnisse dieses „Experiments“ mit und behauptete, dass Benutzer Antworten, die von Bots geschrieben wurden, höher bewerten als Antworten von echten Freiwilligen. Dies hat eine Debatte über die Ethik der „simulierten Empathie“ ausgelöst und die Notwendigkeit eines rechtlichen Rahmens für den Einsatz von KI, insbesondere im Gesundheitswesen und im Wohlbefinden, betont.

‍

(Quelle: ChatGPT wird von der Tech-App für psychische Gesundheit bei KI-Experimenten mit Benutzern verwendet)

‍

‍

Große Sprachmodelle sind ein beeindruckender technologischer Fortschritt, der zweifellos die Arbeitsabläufe und den Alltag der Menschen erheblich verbessern wird. Es besteht jedoch die Möglichkeit, dass diese leistungsstarke Technologie unkontrollierbar wird und mehr Schaden als Nutzen anrichtet. Wir stehen derzeit vor der Herausforderung, sinnvolle Vorschriften zur Identifizierung, Kontrolle und Minderung von KI-Risiken zu entwickeln. Sofortige und entschlossene Maßnahmen müssen unverzüglich ergriffen werden.

‍

Calvin AI-Risikomanagement-Framework

Als Antwort auf die Herausforderungen bei der Kontrolle und Minderung von Risiken wurde Calvin Risk mit der Vision gegründet, KI durch Quantifizierung des Risikos zu ermöglichen. Um Unternehmen dabei zu helfen, entscheidende, sachliche und unvoreingenommene Entscheidungen in Bezug auf die Entwicklung ihrer KI-Algorithmen zu treffen, haben wir das Calvin AI Risk Management Framework entwickelt. Unsere Mission ist es, künstliche Intelligenz zu ermöglichen, indem wir Unternehmen mit den erforderlichen und konformen Governance- und Risikomanagement-Tools sowie mit Ressourcen ausstatten, um die Implementierung und Einführung von KI-Systemen zu beschleunigen. Das bedeutet, dass wir Unternehmen bei der Steuerung, Risikobewertung und Risikomanagement all ihrer KI-Algorithmen über ihren gesamten Lebenszyklus hinweg unterstützen — von der Bewertung des Anwendungsfalls und der Modellauswahl bis hin zur Entwicklung, Bereitstellung, Betrieb und Überwachung.

‍

‍

‍

Das Calvin AI Risk Management Framework unterscheidet drei Hauptarten von Risiken:

Technische Risiken

Technische Risikoindikatoren messen die Qualität der Leistung und Robustheit von KI-Systemen. Diese Risikoindikatoren lassen sich in der Regel sehr gut anhand direkter Leistungskennzahlen messen oder sie können direkt anhand mathematischer Unsicherheitsgrenzen verifiziert werden.

Daher sind diese Risikoindikatoren sehr quantitativer Natur.

‍

Ethische Risiken

Unter ethischen Risiken verstehen wir die Risiken von KI-Systemen, die sich aus Vorurteilen oder dem Blackbox-Charakter der Algorithmen ergeben. Angesichts der Natur von KI-Algorithmen können die von ihnen getroffenen Entscheidungen sehr schwer zu interpretieren sein. Daher müssen Benutzer von KI-Algorithmen über ein ausreichendes Verständnis der Stärken und Grenzen der Algorithmen verfügen.

Aufgrund der Tatsache, dass ausgeklügelte KI-Systeme direktere geschäftliche Auswirkungen haben können als herkömmliche Modelle (z. B. automatische Lebenslauf-Vorauswahlen), bergen sie außerdem das Risiko, dass unfaire Entscheidungen getroffen werden. Dies kann sowohl auf Verzerrungen in den verwendeten Trainingsdaten als auch auf unbewusste Vorurteile der Modellierer zurückzuführen sein.

‍

Regulatorische Risiken

Unter regulatorischen Risiken verstehen wir beide Risiken von KI-Systemen, die sich sowohl aus externen als auch aus internen Vorschriften ergeben. Zu den externen Vorschriften gehören unter anderem bestehende Vorschriften wie DSGVO und AGG sowie kommende Vorschriften, hauptsächlich die EU-Gesetz über künstliche Intelligenz.

Darüber hinaus werden sich Unternehmen, die das Potenzial von KI-Algorithmen voll ausschöpfen wollen, ihrer Risiken immer mehr bewusst und beginnen, strenge Governance-Anforderungen für KI-Algorithmen zu stellen.

‍

‍Erfahren Sie hier mehr über unser Calvin AI Risk Management Framework: Calvins KI-Risikomanagement-Framework

‍

‍

Calvin als Geschäftstool

Die Calvin AI Risk Management Platform ist ein unschätzbares Tool für Unternehmen, um die mit ihren KI-Modellen verbundenen Risiken zu verwalten und zu mindern. Durch die Nutzung der Plattform können Unternehmen Probleme in ihren KI-Modellen identifizieren und beheben, z. B. leistungsschwache Cross-Selling-Prognosemodelle aufgrund hoher Leistungs- und Robustheitsrisikobewertungen. Durch die Bewertung der Qualität von KI-Modellen können Unternehmen die Gesamteffizienz ihres Systems erheblich verbessern.

Calvin hilft Unternehmen auch dabei, Fairness- und Erklärbarkeitsprobleme in ihren KI-Modellen zu identifizieren, die sich negativ auf ihren Ruf auswirken und sie Strafen und Klagen aussetzen können.

Darüber hinaus bietet Calvin wertvolle Einblicke in die Leistung verschiedener Teams innerhalb des Unternehmens. Dies hilft dem Management, fundierte Entscheidungen zu treffen, z. B. die Einschränkung der Verwendung von Deep-Learning-Modellen, sofern sie nicht mit angemessenen Erklärungsmethoden kombiniert werden.

Calvin verbessert nicht nur die Rechenschaftspflicht- und Compliance-Werte des KI-Portfolios eines Unternehmens, sondern erhöht auch die betriebliche Effizienz und die Gesamteffektivität seiner Algorithmen. Dies führt zu einer erheblichen Reduzierung der Gesamtbetriebskosten (TCO) ihrer Modelle und folglich zu einer höheren Kapitalrendite (ROI).

Am wichtigsten ist, dass die Calvin Risk Management Platform Unternehmen auf die Einhaltung des bevorstehenden EU-Gesetzes zur künstlichen Intelligenz vorbereitet und sicherstellt, dass Unternehmen in der Lage sind, die neuen Vorschriften strikt einzuhalten. Daher hat das Calvin Framework nicht nur die Qualität, Effizienz und Konformität der KI-Modelle verbessert, sondern dem Unternehmen auch ein robustes, auf Erkenntnissen beruhendes Entscheidungsinstrument an die Hand gegeben, um zukünftigen Herausforderungen zu begegnen.

‍

Laden Sie hier unser Whitepaper zum Anwendungsfall KI-Risikomanagement für ein Versicherungsunternehmen herunter: Whitepaper herunterladen

‍

‍

Fazit

Große Sprachmodelle (LLMs) bergen ein immenses Potenzial, verschiedene digitale und gesellschaftliche Landschaften zu revolutionieren. Ihre Anfälligkeit für Halluzinationen stellt jedoch erhebliche Herausforderungen dar, die nicht ignoriert werden können. Von der Generierung unbestätigter Informationen bis hin zu den schwerwiegenden Auswirkungen falscher Anschuldigungen und Fehlinformationen unterstreichen diese Fälle die Notwendigkeit strenger Kontrollen und strenger Risikomanagementmechanismen bei KI-Implementierungen.

Fälle wie die von ChatGPT und Metas KI-Bot Galactica haben die Auswirkungen unkontrollierter KI-Halluzinationen auf Menschenleben, akademische Forschung und gesellschaftliche Wahrnehmung deutlich gemacht. Ebenso kritisch ist die ethische Debatte, die durch Kokos KI-Beratungsexperiment ausgelöst wurde. Dabei werden die Schwere simulierter Empathie und die Bedeutung klarer rechtlicher Rahmenbedingungen in sensiblen Bereichen wie dem Gesundheitswesen betont.

Trotz dieser Herausforderungen stehen wir nicht hilflos da. Tools wie die Calvin AI Risk Management Platform bieten einen konkreten Weg in die Zukunft und ermöglichen es Unternehmen, die mit ihren KI-Modellen verbundenen Risiken effektiv zu managen und zu mindern. Durch die Bewertung technischer, ethischer und regulatorischer Risiken verbessert die Calvin AI Risk Management Platform die Modellleistung, gewährleistet die Einhaltung gesetzlicher Vorschriften und fördert Fairness und Transparenz bei KI-Implementierungen.

Zusammenfassend lässt sich sagen, dass die Risiken und Auswirkungen von Halluzinationen bei LLMs zwar beträchtlich, aber nicht unüberwindbar sind. Mithilfe robuster Risikomanagement-Rahmenbedingungen und einer gemeinsamen Verpflichtung zu ethischen KI-Praktiken können wir das Potenzial dieser fortschrittlichen Modelle nutzen und uns gleichzeitig vor ihren Fallstricken schützen. Da wir am Rande der KI-Revolution stehen, obliegt es uns, verantwortungsbewusst zu handeln und ein Umfeld zu schaffen, in dem KI als Instrument für Fortschritt dient und nicht als Quelle von Fehlinformationen oder Schaden.