idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Das Erlernen des wissenschaftlichen Schreibens braucht präzises Feedback – eine besondere Herausforderung in sehr großen Lehrveranstaltungen mit vielen Teilnehmenden. Im Fachbereich Informatik der TU Darmstadt unterstützt deshalb erstmals das KI-Assistenzsystem „LLMentor“ die Bewertung studentischer Exposés und Peer-Reviews für die Abschlussarbeiten. Das Tool entlastet die Lehrenden und fördert konsistente Rückmeldungen – ohne ihnen die Entscheidung aus der Hand zu nehmen.
Wissenschaftliches Schreiben gehört zu den akademischen Fähigkeiten, die Studierende am schwierigsten „nebenbei“ lernen. Gerade im Bachelor-Studium braucht es enges, konkretes Feedback, damit aus ersten Textentwürfen belastbare Exposés für Abschlussarbeiten werden und aus Peer-Reviews – Kommentaren der Kommiliton:innen – tatsächlich hilfreiche Rückmeldungen. In der Praxis ist das äußerst anspruchsvoll: In großen Kursen müssen jedes Semester sehr viele Texte sorgfältig gelesen und entlang einheitlicher Kriterien bewertet werden, und zusätzlich kommt die Rückmeldung zu den Peer-Reviews hinzu.
So geht es auch dem Lehrteam des Kurses „Einführung in wissenschaftliches Arbeiten“ von Professorin Iryna Gurevych und Dr. Thomas Arnold am Fachbereich Informatik der TU Darmstadt: Damit die Qualität stimmt, sucht und schult das Lehrteam regelmäßig zahlreiche Tutorinnen und Tutoren, doch selbst dann bleibt es schwierig, Bewertungen über viele Korrigierende hinweg konsistent zu halten. In diesem Kurs unterstützt deshalb seit dem Wintersemester 2025/2026 das selbst entwickelte Assistenzsystem „LLMentor“ das Lehrteam beim Bewerten und beim Formulieren von Rückmeldungen zu studentischen Exposés, die als Vorbereitung für Abschlussarbeiten dienen.
„LLMentor“ ist dabei keine automatische Benotungsmaschine, sondern eine Entscheidungsunterstützung: Auf Basis transparenter Bewertungsraster macht das System Vorschläge, etwa eine vorläufige Punktzahl je Kriterium, kurze Begründungen und Formulierungsimpulse für Feedback. Diese Vorschläge können übernommen, angepasst oder vollständig verworfen werden. Die Verantwortung für Bewertung und Rückmeldung bleibt vollständig bei den menschlichen Korrigierenden. Vor dem Einsatz in der Lehrveranstaltung wurde das Tool erprobt und die Erprobung wissenschaftlich begleitet.
Eingebunden ist „LLMentor“ in das bereits etablierte CARE-Framework, das in der Veranstaltung schon vor dem Einsatz von KI genutzt wurde. CARE ist die zentrale Kursplattform, über die der gesamte Prozess organisiert wird: Studierende reichen dort ihre Exposés ein, geben Peer-Reviews ab und erhalten Rückmeldungen, während das Lehrteam über dieselbe Umgebung Korrekturen, Bewertungen und Feedback koordiniert. Neu ist nun, dass im selben Workflow an passenden Stellen KI-Vorschläge von LLMentor angezeigt werden. Der Prozess bleibt in seiner Struktur derselbe, aber die Korrigierenden erhalten zusätzliche Unterstützung genau dort, wo der Aufwand und die Fehleranfälligkeit im Alltag besonders hoch sind.
Verantwortlich für Entwicklung und wissenschaftliche Begleitung sind Gurevych, Arnold und Dennis Zyska vom Ubiquitous Knowledge Processing (UKP) Lab sowie Professor Florian Müller aus dem Arbeitsbereich Mobile Mensch-Computer Interaktion des Fachbereichs Informatik. Im Wintersemester 2025/26 wurde die Umsetzung des Projekts durch hessian.AI, das Hessische Zentrum für Künstliche Intelligenz, unterstützt.
Die wissenschaftliche Grundlage bildet der Datensatz Exposía, den Zyska vom UKP Lab parallel öffentlich bereitgestellt hat. Exposía dokumentiert den gesamten Kursprozess vom Exposé-Entwurf über Kommentare und Reviews bis zur überarbeiteten finalen Version und macht damit systematische Auswertungen möglich. Begleitend wurde untersucht, wo vortrainierte KI-Modelle bei Kriterienbewertungen zuverlässig unterstützen können und wo nicht. Vereinfacht gesagt zeigt der Vergleich mit menschlichen Bewertungen: Besonders gut funktioniert KI bei eher eindeutigen, formalen Kriterien. Bei inhaltlich anspruchsvollen Kriterien sinkt die Übereinstimmung. Das ist zugleich der Bereich, in dem auch Menschen häufiger unterschiedlich bewerten.
„Wir haben es in der Lehre mit sehr hohen Studierendenzahlen zu tun, und gleichzeitig sind gutes Feedback und eine faire, konsistente Bewertung wissenschaftlicher Texte extrem aufwändig“, erklärt Gurevych. „Das gilt für die Exposés selbst, aber auch für die Reviews, also die Rückmeldungen, die Studierende einander geben. Jedes Semester investieren wir viel Zeit in das Finden, Einarbeiten und Abstimmen zahlreicher Tutorinnen und Tutoren, und trotzdem ist es schwer, über viele Korrigierende hinweg eine gleichbleibende Qualität zu sichern. LLMentor soll hier unterstützen, indem es Vorschläge liefert, die transparent bleiben und immer vom Lehrteam geprüft werden müssen. Unser Ziel ist nicht Automatisierung, sondern Entlastung und mehr Konsistenz, damit wir uns stärker auf das konzentrieren können, was Lehre im Kern ausmacht: Lernen durch gutes Feedback.“
Professorin Dr. Iryna Gurevych
UKP Lab
iryna.gurevych@tu-darmstadt.de
+49 6151 16-25290
Dennis Zyska, Alla Rozovskaya, Ilia Kuznetsov, Iryna Gurevych: Exposía: Academic Writing Assessment of Exposés and Peer Feedback; arXiv:2601.06536
https://doi.org/10.48550/arXiv.2601.06536
Merkmale dieser Pressemitteilung:
Journalisten
Informationstechnik, Pädagogik / Bildung
überregional
Studium und Lehre, Wissenschaftliche Publikationen
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
