idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Das Benchmarksystem LLM-KG-Bench überprüft automatisch, wie gut Large Language Models Aufgaben rund um RDF-Wissensgraphen erfüllen. Es ist das erste System für diesen Anwendungsfall. Es kann Unternehmen dabei helfen, Chatbots zuverlässig einzusetzen.
Ein Forschungsteam des Instituts für Angewandte Informatik e.V. in Leipzig hat ein Benchmarksystem entwickelt, um zu überprüfen, wie gut große Sprachmodelle (engl. Large Language Model – LLM) Aufgaben in Bezug auf RDF-Wissensgraphen erfüllen.
Der LLM-KG-Bench ist das erste System für diesen Anwendungsbereich. Es evaluiert vorgegebene Aufgaben automatisiert. Dadurch ist es geeignet langfristig zu überprüfen, wie Sprachmodelle in RDF-Wissensgraph-spezifischen Aufgaben abschneiden. Das kann den sicheren Einsatz von Chatbots unterstützen, die auf LLMs basieren.
In Bezug auf RDF-Wissensgraphen hat das Team drei Sprachmodelle getestet: Claude-1.3 von Anthropic sowie ChatGPT-3.5 und ChatGPT-4 von OpenAI. Weitere Modelle lassen sich bei Bedarf ergänzen. Die Modelle sollten je drei Aufgaben lösen: Fehlerbehebung in vorhandenen kleinen Wissensgraphen; Extraktion von Datenblättern; Erstellung von Datensätzen. Alle drei Aufgaben gehören zur Entwicklung von Wissensgraphen.
Im Ergebnis hat sich gezeigt, dass die getesteten LLMs noch deutlichen Verbesserungsbedarf für eine zuverlässige Verwendung haben, wie Lars-Peter Meyer vom Institut für Angewandte Informatik (InfAI) e.V. einordnet: “Wir sind noch nicht an dem Punkt, Wissensgraph-spezifische Aufgaben ungeprüft an Sprachmodelle abzugeben. Zurzeit liefern sie noch nicht zuverlässig richtige Ergebnisse. Aber wenn sie so weit sind, bekommen wir es durch den LLM-KG-Bench mit.” Der LLM-KG-Bench ist erstmals im Poster-Track der Semantics-Konferenz 2023 vorgestellt worden.
Mit dem RDF-Standard werden Daten durch ihre Beziehungen zueinander beschrieben. Dadurch sind sie für KI-Systeme besonders gut lesbar.
Über das InfAI
Das Institut für Angewandte Informatik (InfAI) e.V. ist ein An-Institut der Universität Leipzig und dient als Transferinstitut dem Zweck der Forschungsförderung auf den Gebieten der Informatik und Wirtschaftsinformatik. Ein besonderer Themenschwerpunkt des InfAI sind die Bereiche Wissensgraphen und Open Data. In nationalen und internationalen Forschungsprojekten hat das Institut bereits zahlreiche Lösungen für die semantische Datenverarbeitung entwickelt. Es hat den Lead des Forschungsprojekts KISS.
Über das Forschungsprojekt KISS (KI-gestütztes Rapid Supply Network)
Das Projekt beschäftigt sich mit der Frage, ob sich Ontologien als Basis für B2B-Matching-Plattformen eignen. Dazu wird die KI-gestützte Plattform “Semper-KI” entwickelt. Anwendungsgebiet ist der 3D-Druck. Ziel ist, mit der Plattform zu einer krisenresilienten Infrastruktur in Deutschland beizutragen. Web: magazin.semper-ki.org
Das Projekt wird vom Bundesministerium für Wirtschaft und Klimaschutz im Rahmen des KI-Innovationswettbewerbs gefördert.
Dr. Christian Zinke-Wehlmann
Institut für Angewandte Informatik (InfAI) e.V.
An-Institut an der Universität Leipzig
Goerdelerring 9 | 04109 Leipzig
E-Mail: zinke@infai.org
https://magazin.semper-ki.org/
Basic LLM-KG-Bench framework architecture
Projektkontakt (Marketing):
Nadja Häse
Institut für Angewandte Informatik (InfAI) e.V.
An-Institut an der Universität Leipzig
Goerdelerring 9 | 04109 Leipzig
E-Mail: haese@infai.org
Criteria of this press release:
Journalists
Information technology
transregional, national
Research results, Transfer of Science or Research
German
Basic LLM-KG-Bench framework architecture
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
