ScienceBench: Mit den neuesten Sprachmodellen komplexe mathematische Aufgaben lösen
ScienceBench ist eine Plattform, die im Rahmen der Studie Benchmarks in Leipzig entstanden ist und von Prof. Dr. Christian Stump von der Ruhr-Universität Bochum betrieben wird. Nach einem Login kann man kostenlos in einem begrenzten Umfang Top-Sprachmodelle wie GPT-5.5 oder Claude Opus 4.7 mit komplexen mathematischen Fragestellungen konfrontieren.
Nach einem Login auf ScienceBench kann ich über den blauen Button „Start a Chat“ einen neuen Chat beginnen. Hier lassen sich die aktuellsten Modelle von Gemini, GPT, Claude, Grok und DeepSeek auswählen, die über eine API eingebunden werden. DeepSeek (China) ist das einzige offene LLM, das bei den Berechnungen zum Einsatz kommt.
Für eine geeignete Aufgabenstellung habe ich den Benchmark für mathematische Problemlösungen auf Promotionsniveau heruntergeladen, im Anschluss den gesamten Datei-Input in ChatGPT kopiert und in Textform und auf Deutsch ausgeben lassen. Die 3. Frage bezüglich des „Grassmann-Distance-Degree“ hatte sich interessant angehört und wurde per Copy & Paste direkt in den Chat eingefügt.
An dieser Stelle wieder der Hinweis, dass ich keinerlei Bewertung der Lösungen vornehme, da diese Berechnungen definitiv meine Mathe-Kompetenzen übersteigen. Vielleicht im „nächsten Semester“. Mal schauen 😉
Der untere Screenshot zeigt, wie ich per Copy & Paste die Aufgabe eingefügt und ganz unten vier Modelle ausgewählt habe. Grok wurde hierbei nicht aktiviert, da Grok im Rahmen der Benchmark-Untersuchungen am schlechtesten abschnitt. Nun rechts unten auf den Button „Submit“ klicken und anschließend versuchen die vier LLMs eine geeignete Lösung zu finden. Direkt neben dem Button wird die noch verfügbare Anzahl an Credits dargestellt.
PROMPT: Gesucht ist der Grassmann-Distance-Degree der zu M (2,2,2,2,2) gehörenden Untervarietät in Gr(2,10)Es kann einige Zeit dauern, bis die Aufgabe über die Plattform ScienceBench komplett bearbeitet und eine konkrete Lösung präsentiert wird, auch abhängig vom jeweiligen Sprachmodell. Wird innerhalb des KI-Outputs neben dem LLM eine grüne Leuchte angezeigt, so hat die KI zur mathematischen Fragestellung einen Lösungsweg gefunden. Ob diese korrekt ist oder nicht, wird in diesem Beitrag nicht näher erläutert. Bei einer roten Leuchte hat das Sprachmodell wie im Beispiel bei DeepSeek leider gar keine Antwort generiert.
Nach der Fertigstellung kann man oberhalb die einzelnen Ergebnisse der Modelle durchklicken und analysieren, ob die Antworten korrekt oder falsch sind. Die LLMs Gemini 3.1 Pro, Claude Opus 4.7 und GPT-5-5 haben Resultate präsentiert.
Was mir als „Mathe-Laie“ aufgefallen ist, dass die drei Modelle jeweils zu einem anderen Ergebnis kamen. Hieran lässt sich gut erkennen, dass auch die besten Sprachmodelle bei komplexen mathematischen Berechnungen Probleme haben, zuverlässig eine korrekte Lösung zu präsentieren.
Ist man der Meinung, dass ein Ergebnis korrekt ist, so lässt sich der gesamte Chat rechts oben über den Button „Include This Answer“ bläulich färben, um diesen von den anderen Verläufen farblich abzuheben. Ich habe dies beispielhaft beim GPT-Chat getan, allerdings ohne das Ergebnis zu prüfen. Ein weiterer Klick auf den Button entfernt die Färbung wieder, falls nachträglich Zweifel an der Korrektheit des präsentierten KI-Resultats aufgekommen sind.
Zusätzlich lässt sich der gesamte Chat mit allen Modellergebnissen öffentlich teilen, damit auch Kolleginnen & Kollegen diesen einsehen und gemeinsam bewerten können. Hierzu rechts oben das Share-Icon anklicken und den kopierten Link teilen. Anschließend taucht links oben eine Bezeichnung wie „Shared by Matthias Kindt“ auf.
Über ScienceBench kann ich jederzeit alle gestarteten Chats über den Menüpunkt „Chats“ historisch einsehen. Hier lässt sich direkt erkennen, welchen Chat ich geöffnet habe, wie viele „Turns“ verwendet wurden und wie hoch die Anzahl der verbrauchten Credits war. Insgesamt ist ScienceBench aus meiner Sicht ein tolles Angebot, um Top-LLM simultan vor mathematische Herausforderungen zu stellen. Super!
Autor
