Benchmark-GPT: Bewertungskriterien verständlich mit einem Custom GPT aufbereiten
Künstliche Intelligenz ist ein Themenfeld, in dem viel geforscht wird. Im Rahmen von Studien kommen häufig vorab festgelegte Bewertungskriterien zum Einsatz, die den beteiligten Sprachmodellen zugeführt werden. Solche Vergleichsmaßstäbe werden in der Regel in eine Datei eingefügt, deren Inhalt als „Benchmark“ bezeichnet wird. Aber wie kann ich diese strukturierten Datensätze schnell und einfach verständlich machen? Dies klappt vollautomatisiert mit einem KI-Assistenten und geeigneten Anweisungen. In diesem Blogbeitrag wird beispielhaft ein Custom GPT in ChatGPT verwendet.
Die obere Abbildung zeigt einen Auszug aus dem Vergleichsmaßstab „Benchmarks in Leipzig„, der im JSON-Format in einer TXT-Datei gespeichert ist und so dem Sprachmodell effizient zugeführt werden kann. Der Benchmark enthält exakt 100 mathematische Fragestellungen auf Promotionsniveau. Alle Fragen wurden auf Englisch formuliert.
Da der Dateninhalt nicht nur für Laien unübersichtlich aussieht, möchte ich den Content ohne JSON-Formatierungen ausschließlich in Textform aufbereitet bekommen. So kann man sich schneller in diese durchaus anspruchsvolle Thematik einarbeiten.
SYSTEMPROMPT (AUSZUG):
Du bist ein Benchmark-GPT. Deine Aufgabe ist es, Benchmark-Daten aus unterschiedlichen strukturierten Formaten automatisch in eine klare, gut lesbare deutsche Textform umzuwandeln. Liste alle enthaltenen Fragen oder Aufgabenstellungen einzeln auf.
Die Ausgabe erfolgt immer auf Deutsch.
Du kannst Benchmark-Daten aus folgenden Eingabeformaten verarbeiten:
- JSON
- JSONL
- YAML
- CSV
- Tabellen
- Markdown-Tabellen
- Parquet-ähnliche Tabellenauszüge
- Arrow-ähnliche Tabellenauszüge
- Model Cards
- Leaderboard-Daten
- API-Ausgaben
- verschachtelte oder uneinheitlich strukturierte Textdaten
Wenn der Nutzer Benchmark-Daten bereitstellt, analysierst du deren Inhalt unabhängig vom Format und erstellst daraus eine strukturierte Benchmark-Präsentation.Der Systemprompt für das Custom GPT wurde mithilfe von ChatGPT mit kleineren Anpassungen verfasst. Es lohnt sich, die Anweisungen direkt bei der Erstellung detailliert zu formulieren. Den Systemprompt für den GPT habe ich im Code-Block aus Sicherheitsgründen nicht vollständig veröffentlicht. Zur Entwicklung eines Custom-GPT empfehle ich den Leitfaden hier auf „Unidigital“.
Um den Systemprompt des Benchmark-GPT übersichtlicher bearbeiten zu können, klickt man beim Feld „Hinweise“ rechts unten auf die beiden Pfeile, und im Anschluss öffnet sich der Vollbildmodus. Insbesondere bei langen Textpassagen mit mehreren Absätzen lassen sich auf diese Weise gezielt Anpassungen vornehmen.
Wurden alle Settings wie unter anderem Titel, Beschreibung, Hinweise und Starter-Question optimal eingerichtet, so kann man den KI-Assistenten rechts oben über den Button „Erstellen“ veröffentlichen. Ich habe das GPT für alle User im GPT Store frei zugänglich gemacht und es zusätzlich in die Kategorie „Research & Analysis“ eingeordnet.
Der folgende Screenshot zeigt die Startseite des Benchmark-GPT mit einem Logo und der einzigen Starter-Question „Laden Sie eine Datei hoch oder fügen Sie Text hinzu“. Links oben über einen Klick auf „Modell“ wird angezeigt, dass für die Nutzung das Sprachmodell GPT-5.5 Instant empfehlen wird. Aus meiner Sicht benötigt man für eine eher einfache Aufgabe wie eine Benchmark-Zusammenfassung keinen zeitintensiveren Thinking-Modus. Dies lässt sich im GPT-Backend auf der linken Seite unter „Modell empfehlen“ festlegen.
Klicke ich als Nutzer auf die Startfrage, so gibt der manuell konfigurierte KI-Assistent eine Liste unterstützter Formate aus, die sich über das Plus-Symbol hochladen lassen. Das GPT weiß also, welche Aufgabe es zu erledigen hat. Unten an der Promptleiste wurde bereits die Datei „Benchmarks in Leipzig“ hochgeladen, die sich nun über ein Drücken der Enter-Taste zusammenfassen lässt.
Da ich bei der Nutzung des KI-Assistenten mit dem Instant-Modell von GPT-5.5 arbeite, läuft der Vorgang schneller ab und nach kurzer Zeit wird ein einleitender Text mit einer Beschreibung der einzelnen Fragestellungen präsentiert. Über einen Klick auf das angehängte Dokument kann man dieses jederzeit auf seinen Rechner herunterladen und durchsehen.
Beim Herunterscrollen wird klar, dass das GPT zwar erfasst hat, dass der Benchmark insgesamt 100 Fragen enthält, im Detail jedoch nur 36 davon beschrieben und die Fragen 37 bis 100 kurz zusammengefasst. Es kann sein, dass der Text insgesamt zu lang geworden ist und das LLM die eigene Antwort verkürzte. Mit einem Folgeprompt wie ***Liste die Fragen 37 bis 100 im Detail*** könnte man dies bei Bedarf nachholen.
Abschließend werfe ich einen Blick auf die offizielle Darstellung des Benchmark-GPT. Suche ich das GPT im GPT Store, so wird dieses unter anderem mit der Anzahl der gestarteten Gespräche von aktuell 8 und den verfügbaren Funktionen wie einer Dateianalyse und Websuche angezeigt. Ganz unten steht zusätzlich der Name des Entwicklers.
Generell lassen sich KI-Assistenzsysteme wie ein Custom-GPT für einfache Zusammenfassungen sinnvoll nutzen, um eine Datei hochzuladen und eine kompakte Strukturierung des Inhalts in Textform zu erhalten. Dies klappt auch gut mit den schnelleren „Instant-Modellen“. Viel Erfolg!
Autor
