Hesse.ai im Schnellcheck: Texte schreiben und Quiz erstellen

Ein Beitrag von Julia Jochim

Ist Hesse.ai das Ende aller Hausarbeiten? Das Tool wird als „der ultimative Assistent für deine Hausarbeit“ beworben. „Er hat Zugriff auf Hunderttausende wissenschaftliche Quellen, kann zitieren – und generiert Texte auf höchstem Niveau.“ (Hesse.ai)

Hausarbeit auf Knopfdruck – ein Worst-case-Szenario für Hochschulen. Aber funktioniert das tatsächlich wie angepriesen?

Was bietet das Tool?

Das Tool bietet zwei grundlegende Funktionen: CARDS und WRITE. Mit Cards können PDFs automatisch in Lernkarten und Quiz verwandelt werden. Write unterstützt beim Verfassen von Essays und Hausarbeiten. Ein wenig unpraktisch ist, dass man zwischen beiden Funktionen nicht einfach hin- und herwechseln kann – ist man im Write-Modus, so gibt es keinen Link, um in die Cards-Funktion zu schalten, und umgekehrt. In puncto Usability ist hier Luft nach oben.

Zugang

Im kleinen Umfang kann Hesse.ai gratis getestet werden, ein Login ist dazu allerdings erforderlich. Wer mehr will, muss zahlen. „Cards Pro“ kostet für Studierende pauschal 14 € pro Monat. Die Write-Funktion wird extra abgerechnet: 10.000 Wörter gibt es für 10 Euro monatlich, 40.000 für 20 € und 200.000 für 50 €. Ein wenig eigenartig und wenig sicher mutet das Login-System an – man erstellt kein Passwort, sondern gibt beim Login jedes Mal die Emailadresse an und bekommt daraufhin eine Mail geschickt mit einem Login-Link. Da man immerhin Zahlungsinformationen hinterlegen soll, scheint dies wenig sicher und in Zeiten von Cybercrime fragwürdig.

Cards im Test

Ein schneller Test ergibt: Das funktioniert, so der erste Eindruck, tatsächlich ganz gut. Die Fragen und Quiz ergeben Sinn, auf den ersten Blick funktioniert das Tool. Wie gut die Ergebnisse bei hochspezialisierten Thematiken sind, wäre noch auszuprobieren. Ein wenig kritisch erscheint die ganze Sache aus urheberrechtlicher Sicht, denn der Upload von urheberrechtlich geschützten Texten wie Fachartikeln, E-Book-Auszügen oder Vorlesungsskripten ist zumindest potenziell problematisch (Stichwort “unerlaubte Vervielfältigung”), und die Website von hesse.ai gibt keinerlei Aufschluss darüber, ob die hochgeladenen Daten in irgendeiner Weise weitverarbeitet, als Trainingsdaten verwendet werden etc.

Write im Test

Hier gibt es eine Vielzahl von Funktionen zur Unterstützung im Schreibprozess: Der Menüpunkt „Research“ bietet

• Zusammenfassen
• Thema finden
• Quellen finden
• Quellen-Chat

Unter „Essay“ warten

• Gliederung erstellen
• Einleitung schreiben
• Kapitel schreiben

Darüber hinaus gibt es noch eine Lektoratsfunktion.

Die Research-Funktionen

Die Funktion „Zusammenfassen“ ermöglicht das Einkopieren eines Textes oder das Hinzufügen einer Quelle per Upload oder Link (auch hier stellt sich wieder die Frage möglicher Urheberrechtsverletzungen). Es kann zwischen den Stilen

• informativ
• deskriptiv
• kritisch
• Abstract

gewählt werden. Hier gibt es wenig Überraschungen, denn Zusammenfassen ist bekanntlich etwas, was textgenerative KI sehr gut kann.

Die Funktion „Thema finden“ erbrachte bei einem kurzen Test fünf recht annehmbare Vorschläge für ein Hausarbeitsthema, mit denen sich gut weiterarbeiten ließe. Mit dem Thema „Die Rolle von künstlicher Intelligenz im digitalen Lehren und Lernen: Chancen und Herausforderungen für die Hochschulbildung“ wurde für den Test weitergearbeitet.

Bei „Quellen finden“ wurde es ein wenig ernüchternder. Es ist möglich, die Suche auf Open Access zu beschränken, zudem kann festgelegt werden, in welchem Zeitraum die Quellen erschienen sein sollen. Auch eine Sprachauswahl steht zur Verfügung. Das Tool warf 20 Quellen aus, die Ergebnisse legen nahe, dass es ausschließlich Semantic Scholar benutzt, die Datengrundlage ist also eingeschränkt. Frei verfügbare Quellen sind mit einer „Merken“-Funktion versehen. Im „Quellen-Chat“ können diese gemerkten Quellen angesteuert und Fragen dazu gestellt werden.

Von den angegebenen Quellen erwies sich nur ein Teil als hilfreich für die Arbeit am Thema „Die Rolle von künstlicher Intelligenz im digitalen Lehren und Lernen: Chancen und Herausforderungen für die Hochschulbildung“ – einige befassten sich mit KI in anderen Kontexten (z.B. Medizin, Wirtschaft), wieder andere mit digitaler Lehre generell. Zudem wurden neben Fachartikeln auch Poster, Workshopankündigungen etc. ausgegeben, die als Quellen für eine wissenschaftliche Arbeit eher untauglich sind.

Die Essay-Funktionen

Die Funktion „Gliederung erstellen“ wiederum ergab ein gutes Ergebnis mit einer sinnvollen und nachvollziehbaren Struktur – auch dies ist keine Überraschung, es handelt sich auch hierbei um eine bekannte Stärke von textgenerativer KI.

Für die Funktionen „Einleitung schreiben“ und „Kapitel schreiben“ bietet das Tool drei Qualitätsstufen an:

• Keine Quellenarbeit (schneller)
• Automatische Quellenarbeit, mit echten Zitaten
• Quellenarbeit mit deinen Quellen, mit echten Zitaten

Zum Zweck des Tests wurde die Option 2 gewählt. Getestet wurde anhand mehrerer Beispielunterkapitel aus der Gliederung.

Hesse.ai fordert auf, das Thema und den Fokus des Kapitels einzugeben und generiert dann auf Klick. Der ausgeworfene Text war jeweils ca. 3000 Zeichen lang und enthielt Endnoten, ein Klick auf die Zahl in Klammern im Text öffnet ein Fenster mit dem Textauszug, auf den sich der generierte Text bezieht, plus Quelle, zudem sind die Quellen unter dem Text aufgelistet. Mit einer einfachen Kopierfunktion kann in die eigene Datei übertragen werden.

Das Ergebnis? Ziemlich generische Texte, die obendrein über weite Strecken nur bedingt etwas mit dem Themenfokus zu tun haben. In den meisten Testtexten ging der Text zwar in den meisten Fällen in den ersten ein, zwei Absätzen auf das eigentliche Fokusthema ein (z.B. „Definition von Künstlicher Intelligenz“, „Effizienzsteigerung durch automatisierte Prozesse“, „Verlust traditioneller Lehr- und Lernmethoden“ „Schulung und Vorbereitung von Lehrenden und Lernenden“ etc.), doch in der Folge mäanderte der Text mit schönster Regelmäßigkeit zu verwandten Themen hin – inhaltlich zwar nicht völlig irrelevant, aber eben nicht das Thema dieses Abschnitts. Immer wieder schoss sich das Tool auf die verschiedenen Chancen und Herausforderungen von KI in der Lehre ein, kam auf Datenschutzthemen zu sprechen, auf Forschung und Entwicklung im Bereich KI… Nichts davon war an sich offensichtlich falsch, aber es gehörte eben nicht in einen Text zum jeweils vorgegebenen Thema. Da es nicht möglich ist, dem Tool über das Thema hinaus irgendwelche Anweisungen zu geben, kann auch nicht durch entsprechendes Prompten gegengesteuert werden.

Darüber hinaus blieben die Texte generell an der Oberfläche; eine kritische Lehrkraft dürften sie kaum überzeugen, denn viel mehr als Gemeinplätze mit ein wenig Unterfütterung durch Quellen kam letztlich nicht heraus. Typische KI-Manierismen hingegen waren in jedem Text zu finden, z.B. am Ende jedes Abschnitts die ewig gleichen enervierenden KI-Formulierungen à la „Zusammenfassend lässt sich sagen“, „Abschließend lässt sich festhalten“, gefolgt von den bekannten weichgespülten „einerseits-andererseits“-Argumentationen. Erfahrenere Gutachter:innen dürften solche Texte recht mühelos als KI-generiert erkennen.

Auch die Quellenarbeit dürfte den Anforderungen des wissenschaftlichen Arbeitens nicht genügen. Wie schon gesagt wird ausschließlich auf Semantic Scholar zugegriffen. In einem Textabschnitt werden meist nur 2 oder 3 verschiedene Quellen genutzt, diese dafür wiederholt, innerhalb eines kurzen Abschnitts wird sich so häufig mehr als ein halbes Dutzend mal auf dieselbe Quelle bezogen. Streckenweise erhält man den Eindruck, dass der Text auf die Quellen maßgeschneidert wird; die Quelle ist da, also wird der Text so hingebogen, dass er dazu passt – vielleicht eine Erklärung für das ständige Abschweifen vom Thema?

Fazit

Der Schnellcheck von Hesse.ai legt die Schlussfolgerung nahe: Ein hilfreiches Tool für eine erste Quellensuche und für die Themenfindung und Gliederung. Allerdings gibt es für ersteres spezialisierte Tools mit größerem Funktionsumfang, für Themenfindung und Gliederung könnte genauso gut jedes andere Large Language Model (ChatGPT etc.) genutzt werden. Die generierten Texte bieten gegenüber anderen Tools den Vorteil korrekter Quellenangaben, doch die Qualität der Texte und die mangelnde Varianz der Quellen bei diesem ersten Test lässt nicht vermuten, dass sich mit der Anwendung ohne großen Aufwand wirklich gute Hausarbeiten erstellen lassen, die Gutachter:innen in punkto Tiefe, Stringenz und Stil überzeugen können. Es ließe sich damit etwas zusammenschustern, um zu bestehen, doch eine 1,0 scheint hier schwer vorstellbar. Soll ein wirklich gutes Endprodukt herauskommen, so müsste, so das Fazit aus dem ersten Test, massiv selbst Hand angelegt werden. Ein umfangreicherer Test mit Themen aus verschiedenen Fachbereichen wäre sicher interessant!

Julia Jochim leitet die Abteilung Digitale Medien an der Euro-FH in Hamburg und befasst sich in führender Funktion mit dem Thema KI in der Hochschuldidaktik.