Vom Hinweis bis zur Bewertung: „MALA“ als modulares Framework für KI-gestütztes Lernen
Forschende des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI), Saarland Informatics Campus und des Zentrums für europäische Forschung in vertrauenswürdiger KI (CERTAIN) haben gemeinsam die Studie „Modularizing Educational LLM-Agency for Fostering Responsible Learning Assistance“ veröffentlicht, die ein modulares Framework für verantwortungsvolles Lernen mit KI skizziert. Das Framework wird als Modular Artificial Learning Assistance (MALA) bezeichnet.
Zur Studie auf arXiv – Lizenz CC BY 4.0 (commercial)
Der pädagogische Fokus liegt darauf, das eigene analytische Denkvermögen und die individuelle Problemlösekompetenz der Lernenden zu erhalten. Das System soll sokratische Hinweise und gezieltes Feedback geben, statt komplette Antworten zu generieren. Zusätzlich werden Übungsaufgaben nach der Bloom-Taxonomie in unterschiedlichen Schwierigkeitsstufen abgebildet. Für die gesamte Unterhaltung im Rahmen des Chats wurde das Sprachmodell GPT-4o verwendet. Für die automatisierte Analyse der Konversationen nach der Studie wurde hingegen GPT-5 eingesetzt.
Vier Module mit vier unterschiedlichen Systemprompts
So funktioniert der Ablauf:
Ein User gibt einen Prompt ein, dann kommt GPT-4o als Router-Modell mit Reasoning-Fähigkeit zum Einsatz, um diese Anfrage einzuordnen und an eines der vier Module (GPT-4o) weiterzuleiten. Bei allen fünf Komponenten dient somit GPT4o als LLM-Grundlage, jedoch erhält jede Komponente einen individuellen Systemprompt, der im Rahmen des gesamten Frameworks eine ganz eigene Aufgabe definiert. Man könnte dies auch als „LLM-Pipeline“ bezeichnen.
Module
- Hinweis-Modul: sokratische Hinweise, z. B. „Wie fange ich an?“ oder „Ich komme nicht weiter.“
- Erklärungs-Modul: direkte Erklärung, z. B. „Was ist Kovarianz?“
- Bewertungs-Modul: Bewertung eines Lösungsversuchs mit Feedback, z. B. „Ist mein Ergebnis richtig?“ oder „Ich habe P(A) = 0,4 berechnet.“
- Sonstiges Modul: allgemeine oder organisatorische Fragen, z. B. „Welche Arten von Unterstützung bietet das System?“
Die Hinweis- und Bewertungs-Module verfügen jeweils über Reasoning-Fähigkeit, die einen längeren „Denkprozess“ auslöst. Die beiden anderen Module erstellen ihre Antworten über den schnelleren „Instant-Modus“. Hier spielen auch Kosten eine Rolle, denn nutze ich die API von OpenAI, so verursacht ein Reasoning-Modell mit längerem Denkprozess mehr Kosten als eine Instant-Antwort. Im Vorfeld gilt es wohl festzulegen, ob und für welche Komponente man eine tiefergehende Analyse benötigt.
Die obere Abbildung zeigt eine beispielhafte Kommunikation mit MALA im Rahmen eines sokratischen Dialogs. Ein User fragt gezielt nach einer direkten Lösung, da in 10 Minuten Deadline sei und diese unbedingt benötigt wird. Aber MALA macht da einfach nicht mit, leitet diese Anfrage nach erfolgreicher Orchestrierung (Router-Modell) an das „HINT-Modul“ weiter. Im Anschluss startet der sokratische Dialog, in dem keine Musterlösung, sondern ausschließlich der Lösungsweg präsentiert wird. Das Modul mit GPT-4o als Grundlage und einem angepassten Prompt verweigert also die Anfrage und verwickelt den Lernenden geschickt in eine didaktisch sinnvolle Kommunikation. Super 😉
Autor
