Benchmarks in Leipzig: Wie gut lösen große Sprachmodelle mathematische Aufgaben?
Internationale Forschende kamen zu einem dreitägigen Workshop am Max-Planck-Institut für Mathematik in den Naturwissenschaften in Leipzig zusammen. Dort erstellten sie über die Plattform ScienceBench einen Benchmark aus 100 mathematischen Fragen, deren Komplexität Promotionsniveau erreichte. Den Datensatz haben die Beteiligten als Benchmarks in Leipzig bezeichnet. Die Plattform wird betrieben von Prof. Dr. Christian Stump von der Ruhr-Universität Bochum, dem Initiator dieser gemeinsamen Initiative.
Insgesamt mussten die LLMs in drei Testreihen 100 Fragen aus unterschiedlichen Fachgebieten der Mathematik lösen. Anschließend wurden die Ergebnisse auf Korrektheit bewertet und untereinander verglichen, um zu überprüfen, welches Modell sich am besten für komplexe mathematische Fragestellungen eignet. An dieser Stelle direkt der Hinweis, dass ich in diesem Blogbeitrag keinerlei Bewertung hinsichtlich der Resultate oder Ähnliches vornehme, da die Mathematik auf Promotionsniveau (leider) meine Kompetenzen übersteigt. Da müsste ich mich erst ein „paar Tage“ tiefergehend einarbeiten. 😉
Der Benchmark lässt sich über die Webseite ScienceBench vollständig herunterladen, um die Fragen einzeln durchzugehen. Ich habe den gesamten Textinhalt in ChatGPT hochgeladen und das Sprachmodell angewiesen, die 100 Fragen kurz auf Deutsch auszugeben, um so ungefähr zu verstehen, welche Aufgaben die großen Sprachmodellen lösen sollten.
Als Erstes haben die Forschenden alle 100 Fragen einmalig Top-Modellen wie GPT-5.5, Gemini 3.1 Pro und Claude Opus 4.7 zugeführt und getestet, wie viele Fragen davon korrekt beantwortet wurden. Mit Abstand am besten performte das OpenAI-Modell GPT-5.5 mit 44 % korrekten Antworten. Die Bezeichnung „Active Model“ bedeutet in diesem Zusammenhang, dass es sich hierbei um das aktuellste Modell des jeweiligen Anbieters handelt.
Für die zweite Testreihe kamen die aktuellsten Modelle von OpenAI, Anthropic und Google zum Einsatz. Der Benchmark wurde von ihnen genau 20 Mal über die Plattform Surge AI durchlaufen. Dies erhöhte bei allen LLMs die Ausgabe korrekter Antworten signifikant. Spitzenreiter im Rahmen der Studie „Benchmarks in Leipzig“ blieb GPT‑5.5 mit nun 75 % korrekten Antworten, gefolgt von Claude Opus 4.7 mit 44 % und Gemini 3.1 Pro mit 40 %. Hierbei handelt es sich um den Anteil der Fragen, die in 20 Versuchen mindestens einmal korrekt gelöst wurden.
Im dritten „Run“ wurden die Deep-Thinking-Modi von GPT-5.5 (Extend Thinking) und Gemini 3.1 Pro (Deep Think) mit jeweils drei Versuchen getestet. So konnte die Quote der richtigen Resultate nochmal angehoben werden. Vor allem der Sprung bei Gemini 3.1 von anfänglichen 15 % auf nun 56 % ist schon erheblich und zeigt, welchen Einfluss unterschiedliche Settings auf die Lösung komplexer mathematischer Probleme haben. GPT-5.5 erreicht in diesem Modus stolze 88 %. Wow!
Autor
