Large Language Model based Knowledge Creation Verified by Knowledge Graphs and News Articles

Halluzinationen sind ein weit verbreitetes Phänomen im Kontext von Large Language Models (LLMs). In den LLM-generierten Antworten steckt oft eine vorgetäuschte Sicherheit der Aussagen, die getroffen wurden. Diese Arbeit untersucht die Auswirkungen von Halluzinationen innerhalb von LLMs und skizziert einen Ansatz zur Erkennung und Überprüfung von Aussagen in den von LLMs generierten Antworten. Um dieses Problem zu bewältigen, schlagen wir ein Framework mit einer mehrstufigen Methodik für die Erkennung und Überprüfung von Behauptungen für LLMs vor. Dieses umfasst das Beschaffen von Informationen über die Google-Suche, das Extrahieren von Daten aus Wikidata und schließlich die Darstellung einer Beurteilung zusammen mit einer Begründung für den Benutzer. Wir arbeiten mit dem Design Science Framework (DSF), um ein Framework zu entwickeln, das modernste LLM-Technologie wie Structured Output, Prompt Chaining und Role Prompting nutzt, um bestehende Halluzinationen zu identifizieren und zu verifizieren. Es wurde ein speziell zugeschnittener Goldstandard-Datensatz zusammengestellt, der Fragen und entsprechend korrekte Antworten zu den Führungspositionen aller in den Fortune 500 gelisteten Unternehmen umfasst. Wir führen eine genaue Evaluierung unter Verwendung unserer Golddaten durch. Wir weisen eine hohe Genauigkeit der Pipeline mittels eines Makro-F1-Scores von 0,8611 nach, der auch die Anwendbarkeit im produktiven Einsatz bestätigt.