Offene Sprachmodelle im LLM Lab vergleichen

Veröffentlicht am 3. Juni 20254. Juni 2025 von Matthias Kindt

Im Rahmen eines Fraunhofer-Partner-Zugangs durfte ich das LLM Lab des KI-Servicezentrums West AI testen und so kostenlos offene Sprachmodelle wie Teuken (Deutschland), Mistral (Frankreich) und Deepseek (China) vergleichen. Das Lab befindet sich aktuell in der Beta-Phase, daher sind noch nicht alle Features komplett freigeschaltet. Der Zugang läuft datenschutzkonform über die Fraunhofer-Cloud.

Und so kann es gehen:

1) Eine E-Mail an contact@westai.de senden und einen Partner-Zugang erhalten. Gerne auf diesen Artikel hier verweisen.

2) Login über https://llm-lab.westai.de und die Demo nutzen

3) Den großen Button “Chat Aligned Models” klicken und die gewünschten Sprachmodele auswählen. Alle offenen LLMs können direkt kostenlos genutzt werden. Bei den LLMs von OpenAI wie ChatGPT-4o muss über die “Settings” vorab eine OpenAI API eingegeben werden. Diese kostet dann bei jedem Prompt “kleine” Cent-Beträge.

4) Einen einzigen Prompt setzen wie z.B. “Unterschied von AGI und GenAI” und auf “Run” klicken. Nun werden automatisch auf Grundlage dieses einen Prompts etwa bei der Auswahl von 4 LLMs, dann gleichzeitig 4 Outputs generiert. Diese lassen sich im Anschluss vergleichen.

Der obere Screenshot zeigt die Nutzeroberfläche des LLM Lab und den Reiter “Demo” links in der Navigation sowie die ausgewählten Language Models wie Teuken und Deepkseek, die nun im Sprachmodellvergleich gegeneinander antreten und so hinsichtlich des Anfangsprompts und den darauf basierenden Outputs verglichen werden können. Teuken wurde übrigens u.a. auf dem Supercomputer Jülich und den Kapazitäten der TU Dresden trainiert und ist wohl als bislang größtes offenes LLM “Made in Germany” anzusehen. Möchtet Ihr mehr über die einzelnen LLMs erfahren, dann geht auf den Reiter “Model Card” und nutzt die externen Verlinkungen zur US-Plattform Hugging Face, auf denen alle Modelle kostenlos zum Download bereitstehen.

In der weiteren Abbildung ist der Textoutput aller ausgewählten Language Models dargestellt, der nun manuell durchgegangen werden kann. Auch hier könnt ihr prompten, wie ihr gerne möchtet, etwa nur in Stichpunkten oder in einer gewünschten Sprache etc. Zusätzlich ließen sich noch ganze Templates, also Vorlagen hochladen, die User im Rahmen des Prompting mit einbeziehen können. Für einen “normalen” LLM-Vergleich ist dies nicht notwendig. Testet gerne mal dieses LLM Lab des KI-Servicezentrums West AI aus. Übrigens, das West AI wird von der Universität Bonn aus geleitet, in Zusammenarbeit u.a. mit dem Fraunhofer IAIS. Zum Schluss ein großes Dankeschön an das Team rund um Jens Fisseler vom Fraunhofer IAIS für die Einrichtung eines Partner-Accounts.