DEversAI – Sprachmodelle rückwärts denken?
DEversAI ist eine Plattform, auf der selbst trainierte Sprachmodelle genutzt, untersucht und verstanden werden können. Insbesondere wurden dabei Sprachmodelle trainiert, die Text entgegen der typischen Leserichtung, effektiv also rückwärts von rechts nach links, verarbeiten “antikausal”, und mit klassischen Sprachmodellen “kausal” verglichen. Im Folgenden werden die Unterseiten der interaktiven Webanwendung beschrieben.
Auf der Startseite wird das Projekt in einer Kurzfassung vorgestellt. Als Jugend-forscht-Projekt handelt es sich hier um eine populärwissenschaftliche Kurzbeschreibung der Projektinhalte. Das Projekt wurde auf dem Jugend forscht-Wettbewerb 2025 vorgestellt und auf dem Bundeswettbewerb mit dem 4. Preis ausgezeichnet, zudem gewann es den Bundessieg (Hauptpreis) des Bundeswettbewerb Künstliche Intelligenz.
Für die LLM-Sprachverarbeitung wird der Text, also sowohl Eingabe (Prompt) als auch Ausgabe des Modells in eine numerische Repräsentation, die für Textbestandteile steht, aufgeteilt. Die Website hat das Ziel, diese Tokens möglichst ganzheitlich darzustellen.
Auf der Seite der Token-Liste kann nach Tokens mithilfe eines Suchausdrucks gesucht werden. Die Suche unterstützt reguläre Ausdrücke, so wurde hier nach allen Tokens gesucht, die auf “al” enden (das Dollarzeichen steht für das Ende des Wortes). Jedes der Tokens kann angeklickt werden, um auf die respektive Tokenseite zu gelangen.
Dargestellt wird hier der erste Teil der Token-Visualisierung für das Token “digital “ mit ID 21467. In der Mitte wird die relative Häufigkeit dieses Tokens in wissenschaftlicher Notation dargestellt – umgerechnet ist etwa jedes achtzigtausende vorkommende Token “digital “. Darunter ist der Stammbaum des Tokens als Dendrogramm zu erkennen und man kann sehen, aus welchen Basistokens das Token zusammengesetzt ist. Zum Beispiel ist das Präfix “digit” und das Suffix “al “ auch ein separates Token. Wir betrachten einmal durch Klick auf das Token im Baum “dig”:
Die relative Häufigkeit dieses Tokens ist zirka das Vierfache des Tokens “digital “ direkt. Der Grund dafür wird auch gezeigt – in über 90% der Fälle wird es durch ein “Kind”-Token ersetzt, welches dieses Token enthält. Die Kinder werden samt ihrer assoziierten Wahrscheinlichkeiten dargestellt – in diesem Fall gibt es sowohl Kinder wie “digit”, die links mit “dig” beginnen und Kinder wie “notwendig”, die rechts mit “dig” enden. Unten im Bild werden Beispiele dargestellt, die direkt aus dem Korpus entnommen sind und das Token enthalten.
Weiter unten auf der Website findet sich das Embedding des Token, ein Vektor mit 768 Dimensionen. Jeder Punkt steht dabei für genau eine Komponente, rote Punkte signalisieren einen stärker negativen, blaue einen stärker positiven Wert. Rechts sind ähnliche Tokens aufgelistet, wobei in der Darstellung zwischen einem Überblick und einer tabellarischen Darstellung ausgewählt werden kann.
Zudem können LLM-Informationen angezeigt werden. Rechts finden sich die Vorhersagen der beiden Modelle, also welche Tokens ausgeben würden, wenn sie nur das Token als Eingabe erhalten würden. Das antikausale Modell, welches das vorherige Token vorhersagt, schlägt Tokens wie “wür”, “beschä” oder “Belei” vor, welche zu “würdig”, “beschädig” bzw. “Beleidig” zusammengefügt werden können. Das kausale Modell schlägt initial ein Wortende in Form eines Komma oder Punktes vor, gefolgt von “keiten”, “ten” oder “ter “ mit zusammengefügtem Text “digkeiten”, “digten” und “digter “.
Bezüglich des Tickets “digital “ sind die ähnlichen Tokens interessanter: nach mehreren syntaktisch ähnlichen Tokens folgen semantisch verwandte wie “elektronische “, “analogen “, “online “ und “virtuelle “, während das kausale Modell sich auf das Präfix fokussiert und “virtu”, “analogen “ oder “Digi” für ähnlich befindet.
Auf der Tokenisierung-Seite kann selbst Text eingegeben und in Tokens umgewandelt werden. Auch hier existieren Links zu allen verwendeten Tokens. Auch die IDs sowie weitere Statistiken über den Text können hier eingesehen werden. Für typischen menschlichen Text haben die Tokens meist eine hohe Kompressionsrate, sind also sehr viel speichereffizienter als die klassische byteweise Repräsentation.
Die Hauptseite für Visualisierung erlaubt es, die Tokens im Embedding-Raum dreidimensional und zweidimensional darzustellen. Jeder Punkt steht dabei für genau ein Token und kann ausgewählt und verglichen werden.
Auf der Website können die Tokens auch geclustert werden, hier nach dem letzten Symbol im Token. Zum Beispiel werden hier die Tokens mit Leerzeichen am Ende blau hervorgehoben, während alle anderen grau markiert sind. Die verschiedenen Arten und Weisen, Tokens hervorzuheben, verraten, wie unterschiedlich die verschiedenen Kausalitäten als auch domänenspezifische Modelle Tokens verarbeiten.
Diese interaktive Erkundung des Embedding-Raums ermöglicht, darzustellen, welche Features für das Modell am relevantesten und am wichtigsten zu repräsentieren sind. Zu beachten ist, dass die Projektion der hochdimensionalen Strukturen in den 2D- oder 3D-Raum verlustbehaftet ist.
Besonders spannend ist es, die Tokens nach Wortart einzufärben. Mithilfe eines LLM wurde für alle 50256 Tokens eine Kategorie herausgefunden. Es zeigt sich, dass die grammatikalische Struktur im Deutschen von den Modellen nahezu perfekt erklärt werden kann – obwohl dem Modell solche Informationen nie explizit gegeben wurden, sondern das einzige Trainingsziel im möglichst genauen Vorhersagen von deutschen Sätzen bestand.
Ebenfalls können die domänenspezifischen Modelle untersucht und verglichen werden. Es wurden vier solche Modelle trainiert: für deutsche Gesetzestexte, Bundestagsreden, historische fiktionale Literatur und Wikipedia-Artikel.
Auf dieser Unterseite können Vornamen eingegeben und eine Wahrscheinlichkeitsverteilung über ihre Geburtsjahre mithilfe der Modelle erzeugt werden. Dies ist ein praktisches Beispiel dafür, wie aus Foundation-Modellen verlässliche Informationen entnommen werden kann, welche die Trainingsdaten reflektiert – während Chat-Modelle auf spezifische Nutzeranfragen ganz unterschiedlich reagieren, ist diese Form der Informationsentnahme relativ zum Korpus die bestmögliche Repräsentation der vorhandenen Daten.
Forcing ist eine Methode, um die Plausibilität von Text zu ermitteln. Dazu wird untersucht, wie wahrscheinlich das Modell das Token ausgegeben hätte – diese Information kann aus dem Transformer sehr effizient in nur einem einzigen Schritt entnommen werden.
Auf der gleichen Seite kann herausgefunden werden, was die wahrscheinlichsten Alternativen waren. Hier wird das antikausale Modell eingesetzt und sagt beispielsweise vorher, dass am Ende meiner Kurzfassung ein Artikel vor “Textverarbeitungsrichtung” eingefügt werden sollte.
Auf der Inferenzseite kann beliebiger Text erzeugt werden, was alle Modelle praktisch nutzbar macht (hier am Beispiel eines Kochrezepts). Es kann neben dem klassischen Sampling auch tokenweise Inferenz betrieben werden.
Gleichzeitig kann die Inferenz auch mit einem der Finetuning-Modelle erzeugt werden, hier am Beispiel eines Gesetzestextes…
… und eines Wikipedia-Artikels.
Der Quelltext des gesamten Projekts ist online unter https://github.com/leo848/deversai zu finden. Bei Interesse an der Verwendung der gezeigten Anwendung freue ich mich über Kontakt per Mail (leo.blume@rwth-aachen.de) oder LinkedIn.
Leo Blume ist Studentin der Informatik an der RWTH Aachen. Nach zahlreichen erfolgreichen Teilnahmen an Jugend forscht mit Projekten zu Algorithmik, Machine Learning oder Medienbruchfreiheit und weiteren Schüler:innenwettbewerben gewann sie 2025 mit “DEversAI” zugleich den 4. Preis des Jugend forscht-Wettbewerbs bundesweit und den Hauptsieg des Bundeswettbewerbs Künstliche Intelligenz. Ihre Interessen liegen in der Grundlagenforschung zu großen Sprachmodellen und ihrer interaktiven Visualisierung, der kombinatorischen Optimierung, sowie theoretischer Informatik und formalen Systemen.
