idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Das Benchmarksystem LLM-KG-Bench überprüft automatisch, wie gut Large Language Models Aufgaben rund um RDF-Wissensgraphen erfüllen. Es ist das erste System für diesen Anwendungsfall. Es kann Unternehmen dabei helfen, Chatbots zuverlässig einzusetzen.
Ein Forschungsteam des Instituts für Angewandte Informatik e.V. in Leipzig hat ein Benchmarksystem entwickelt, um zu überprüfen, wie gut große Sprachmodelle (engl. Large Language Model – LLM) Aufgaben in Bezug auf RDF-Wissensgraphen erfüllen.
Der LLM-KG-Bench ist das erste System für diesen Anwendungsbereich. Es evaluiert vorgegebene Aufgaben automatisiert. Dadurch ist es geeignet langfristig zu überprüfen, wie Sprachmodelle in RDF-Wissensgraph-spezifischen Aufgaben abschneiden. Das kann den sicheren Einsatz von Chatbots unterstützen, die auf LLMs basieren.
In Bezug auf RDF-Wissensgraphen hat das Team drei Sprachmodelle getestet: Claude-1.3 von Anthropic sowie ChatGPT-3.5 und ChatGPT-4 von OpenAI. Weitere Modelle lassen sich bei Bedarf ergänzen. Die Modelle sollten je drei Aufgaben lösen: Fehlerbehebung in vorhandenen kleinen Wissensgraphen; Extraktion von Datenblättern; Erstellung von Datensätzen. Alle drei Aufgaben gehören zur Entwicklung von Wissensgraphen.
Im Ergebnis hat sich gezeigt, dass die getesteten LLMs noch deutlichen Verbesserungsbedarf für eine zuverlässige Verwendung haben, wie Lars-Peter Meyer vom Institut für Angewandte Informatik (InfAI) e.V. einordnet: “Wir sind noch nicht an dem Punkt, Wissensgraph-spezifische Aufgaben ungeprüft an Sprachmodelle abzugeben. Zurzeit liefern sie noch nicht zuverlässig richtige Ergebnisse. Aber wenn sie so weit sind, bekommen wir es durch den LLM-KG-Bench mit.” Der LLM-KG-Bench ist erstmals im Poster-Track der Semantics-Konferenz 2023 vorgestellt worden.
Mit dem RDF-Standard werden Daten durch ihre Beziehungen zueinander beschrieben. Dadurch sind sie für KI-Systeme besonders gut lesbar.
Über das InfAI
Das Institut für Angewandte Informatik (InfAI) e.V. ist ein An-Institut der Universität Leipzig und dient als Transferinstitut dem Zweck der Forschungsförderung auf den Gebieten der Informatik und Wirtschaftsinformatik. Ein besonderer Themenschwerpunkt des InfAI sind die Bereiche Wissensgraphen und Open Data. In nationalen und internationalen Forschungsprojekten hat das Institut bereits zahlreiche Lösungen für die semantische Datenverarbeitung entwickelt. Es hat den Lead des Forschungsprojekts KISS.
Über das Forschungsprojekt KISS (KI-gestütztes Rapid Supply Network)
Das Projekt beschäftigt sich mit der Frage, ob sich Ontologien als Basis für B2B-Matching-Plattformen eignen. Dazu wird die KI-gestützte Plattform “Semper-KI” entwickelt. Anwendungsgebiet ist der 3D-Druck. Ziel ist, mit der Plattform zu einer krisenresilienten Infrastruktur in Deutschland beizutragen. Web: magazin.semper-ki.org
Das Projekt wird vom Bundesministerium für Wirtschaft und Klimaschutz im Rahmen des KI-Innovationswettbewerbs gefördert.
Dr. Christian Zinke-Wehlmann
Institut für Angewandte Informatik (InfAI) e.V.
An-Institut an der Universität Leipzig
Goerdelerring 9 | 04109 Leipzig
E-Mail: zinke@infai.org
https://magazin.semper-ki.org/
Basic LLM-KG-Bench framework architecture
Projektkontakt (Marketing):
Nadja Häse
Institut für Angewandte Informatik (InfAI) e.V.
An-Institut an der Universität Leipzig
Goerdelerring 9 | 04109 Leipzig
E-Mail: haese@infai.org
Merkmale dieser Pressemitteilung:
Journalisten
Informationstechnik
überregional
Forschungs- / Wissenstransfer, Forschungsergebnisse
Deutsch
Basic LLM-KG-Bench framework architecture
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
