idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Mit 100 Fragen hat eine Gruppe von 49 internationalen Mathematikern und Mathematikerinnen aktuellen Large Language Models auf den Zahn gefühlt: Welche Übungsaufgaben auf höchstem Niveau können sie lösen? Welche noch nicht? „Die Ergebnisse haben uns beeindruckt”, berichtet Prof. Dr. Christian Stump von der Ruhr-Universität Bochum, Initiator der Aktion. „Nur zwei Aufgaben blieben ungelöst. Das zeigt, dass die mathematischen Problemlösungsfähigkeiten von Künstlichen Intelligenzen sich stark verbessert haben.“
Die Forschenden haben sich zu einem dreitägigen Workshop am Max-Planck-Institut für Mathematik in den Naturwissenschaften in Leipzig getroffen. Dort haben sie über die ScienceBench Plattform (https://math.sciencebench.ai/) einen Benchmark mit 100 mathematischen Fragen zusammengestellt. Diese bewegten sich in ihrer Komplexität mindestens auf dem Niveau von Promotionen. Die Antworten mussten eindeutig und den Autoren bekannt, durften aber nicht explizit in Veröffentlichungen erschienen sein.
Diese Fragen stellten sie fünf aktuellen Large Language Models (LLMs) ein einziges Mal. 41 Aufgaben blieben danach ungelöst. Die besten drei Modelle des ersten Durchgangs konfrontierten sie noch 20 weitere Male mit denselben Fragen. „Zwischen einzelnen Durchgängen eines Modells zur exakt gleichen Frage gibt es eine große Variation in den Antworten“, erklärt Christian Stump. „Bei 20 sehen wir schon deutlich mehr gelöste Fragen als bei einem Durchgang. Es blieben nur noch 16 ungelöste Fragen übrig.“
Abschließend stellten sie die Fragen drei Mal hintereinander zwei sogenannten Heavy-Thinking-Modellen. Sie konnten weitere 14 Übungsaufgaben lösen, sodass zum Schluss nur zwei Aufgaben vollständig ungelöst blieben.
Getestet wurden die Modelle GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7, DeepSeek-V4-Pro, Grok 4.3, GPT-5.5 Pro (Extended Thinking) und Gemini 3.1 Pro Deep Think.
Prof. Dr. Christian Stump
Algebraische Kombinatorik
Fakultät für Mathematik
Ruhr-Universität Bochum
E-Mail: christian.stump@ruhr-uni-bochum.de
Andrei Balakin et al.: Benchmarks in Leipzig, online erschienen auf arxiv.org, 2026, DOI: 10.48550/arXiv.2606.05818, https://arxiv.org/abs/2606.05818
Christian Stump hat mit Kolleginnen und Kollegen aktuellen Large Language Models mathematische Übu ...
Copyright: © RUB, Marquard
Criteria of this press release:
Journalists
Mathematics
transregional, national
Research results
German
Christian Stump hat mit Kolleginnen und Kollegen aktuellen Large Language Models mathematische Übu ...
Copyright: © RUB, Marquard
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
