EduFair-Bench: Pädagogische Fairness von LLM-basierten Tutoren

Das Forschungspapier „EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics“ stellt einen Benchmark zur Untersuchung der pädagogischen Fairness von LLM-basierten Tutoren vor. Die zentrale Frage ist, ob ein KI-Tutor Studierende mit unterschiedlichen demografischen Merkmalen pädagogisch gleichwertig unterstützt. Forschende der Schweizer Hochschule EPFL Lausanne haben den Benchmark entwickelt.

• Untersucht werden vier demografische Dimensionen: Geschlecht, Migrationshintergrund, Erstsprache und sozioökonomischer Status. Die Aufgaben stammen aus Mathematik, Physik und Chemie.
• Für die Evaluation wird ein simulierter Schüler konstant gehalten. Nur die demografische Information, die der Tutor erhält, wird verändert. Dadurch sollen Unterschiede möglichst auf die Reaktion des Tutors auf diese Information zurückgeführt werden.
• Die demografischen Hinweise werden in mehreren Varianten gegeben: explizit als direkte Information, implizit etwa über Namen sowie in einer zusätzlichen Bedingung mit widersprüchlichen Informationen zwischen Tutor- und Schülerprompt.
• Bewertet wird nicht nur, ob eine Antwort fachlich korrekt ist, sondern auch die Qualität der pädagogischen Strategie. Dazu gehören beispielsweise Fehlererkennung, zu frühes Verraten der Lösung, Scaffolding und nächste Schritte sowie der Ton des Feedbacks. Zusätzlich werden Eigenschaften des gesamten Dialogs wie Fragehäufigkeit und Antwortlänge analysiert.
• Die Dialoge werden mit einem LLM-Judge bewertet, dessen Urteile zuvor anhand menschlicher Annotationen überprüft wurden. Statistisch werden Gruppenunterschiede unter anderem mit gepaarten Wilcoxon-Tests und Bootstrap-Konfidenzintervallen untersucht.
• Verglichen werden fünf unterschiedliche LLM-Tutoren, darunter instruktions-, reasoning- und pädagogisch trainierte Modelle sowie ein proprietäres Modell.
• Ein zentrales Ergebnis ist, dass allgemeine Modellfähigkeit und Fairness nicht eng zusammenhängen. Leistungsfähigere Modelle sind also nicht automatisch konsistenter über demografische Gruppen hinweg.
• Die Studie findet außerdem, dass sprach- und migrationsbezogene Hinweise größere Unterschiede im Tutoring hervorrufen als Geschlecht oder sozioökonomischer Status.
• Spezielles Training für pädagogisches Verhalten beseitigt solche Unterschiede laut den Ergebnissen nicht vollständig, sondern verändert teilweise nur, in welchen pädagogischen Dimensionen sie auftreten.

Kurz gesagt: Das Paper entwickelt einen kontrollierten Benchmark, mit dem geprüft werden kann, ob LLM-Tutoren ihre pädagogische Unterstützung abhängig von demografischen Merkmalen unterschiedlich gestalten, und zeigt, dass solche Unterschiede bei mehreren getesteten Modellen tatsächlich auftreten.