TrustLLM: Sprachmodell “Made in Europe”

Veröffentlicht am 18. März 202418. März 2024 von Matthias Kindt

Im Rahmen eines europäischen Kooperationsprojektes soll ein Large Languange Model (LLM) entstehen, das zuverlässiger, offener, transparenter und energiesparender sein soll als GPT von OpenAI. Das potenzielle Sprachmodell “Made in Europe” trägt die Bezeichnung TrustLLM, die wohl ein hohes Maß an Vertrauenswürdigkeit ausdrücken soll. Das EU-Projekt ist bereits am 20. und 21. November offiziell gestartet.

The TrustLLM project will develop European large language models (LLMs) on an unprecedented scale, trained on the largest amount of text so far in European AI, covering a range of underrepresented languages, and pushing the limits of European exascale computing. Quelle: TrustLLM.eu

So lautet die offizielle Beschreibung von TrustLLM und verdeutlicht, wie sehr der Fokus auf “European” liegt. Man möchte scheinbar endlich eine hochwertige Alternative zu dem hauptsächlich von US-Firmen wie OpenAI, Google oder Anthropic dominierten Markt der LLMs entwickeln. Vor allem der Datenschutz und somit der potenzielle Abfluss von Daten spielt da häufig eine große Rolle. Ein nach europäischen Vorstellungen trainiertes Model auf der Grundlage von Open Source (quelloffener Code) ließe sich etwa in Hochschulen, Behörden und Unternehmen weitaus unproblematischer einsetzen, da sensible/persönliche Daten nicht die Europäische Union verlassen würden.

Und wer macht mit? Die Teilnehmer im Überblick

Da es sich bei TrustLLM hinsichtlich der teilnehmenden Partner um ein recht komplexes Projekt handelt, wird im Folgenden ein wenig näher darauf eingegangen, wie man sich denn das EU-Vorhaben insgesamt vorstellen muss.

Folgende Akteure sind beteiligt:

Linköping University (LiU) (Koordination)
Fraunhofer (FHG)
Forschungszentrum Julich (FZJ) (Supercomputer)
Lindholmen Science Park (LSP)
Mideind (MID)
University of Iceland (UOI)
Copenhagen University (UCPH)
Alexandra Institute (AXI)
Norwegian University of Science and Technology (NTNU)
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek (TNO)
Academy for Artificial Intelligence (AKI)

Quelle: https://trustllm.eu/partners/

server — DALL-E3 generated: Überspitzte Abbildung

An der Auflistung ist zu sehen, dass die Länder Schweden, Dänemark, Island, Norwegen, die Niederlande und auch Deutschland beteiligt sind. Dazu kommen dann noch Fördergelder der Europäischen Union. Die Koordination des Vorhabens liegt bei der schwedischen Linköping Universität und das Rechenzentrum befindet sich in Deutschland, genauer gesagt in Jülich, wo aktuell der größte Supercomputer Europas JUWELS aufgebaut wird.

Workpackages, mehr nicht? Mehr Daten wären wünschenswert!

Auf der offiziellen Homepage von TrusttLLM findet sich im Menü der Unterpunkt “Workpackages”, der die Gliederung des Projektes in einzelnen Themenfeldern, wie etwa “WP6: Efficient LLM Training and Usage” oder “WP7: Multilingual and Multi-metric LLM Evaluation” aufzeigt.

Dies ist ja soweit ganz nett, aber z.B. eine Listung von Zielwerten, die erreicht werden möchten oder auch Daten hinsichtlich der nutzbaren Rechenleistung im Rahmen des Supercomputers Jülich wären wohl angemessen, um für mehr Transparenz zu sorgen. Nun bleibt den Interessierten nichts anderes übrig, also den Worten zu glauben, ohne dies auf einer wissenschaftlichen Grundlage argumentieren zu können. Es werden überhaupt keine Benchmarks angegeben, um so ungefähr einordnen zu können, was die Beteiligten mit dem offenen Sprachmodell anstreben möchten.

Key Facts TrustLLM via Avatar

Der nachfolgende Avatar fasst kurz die wesentlichen Fakten zu TrustLLM zusammen. “Sie” wurde über das Tool HeyGen generiert und das zugehörge Bild über DALL-E3 erzeugt und dann als “Asset” hochgeladen.

Generell eignen sich KI-Avatare aus meiner Sicht recht gut, in maximal einer Minute Länge ein Thema mit den wesentlichen Punkten vortragen zu lassen. In diesem Fall wurde die Stimme “Ingrid” verwendet. Das Video kann gerne im Rahmen der Lizenz CC BY 4.0 DEED zum Beispiel als “KI-OER” frei verwendet werden.