BayernGPT: Bayerische Hochschulen entwickeln Open-Source-Sprachmodell für mehr Souveränität

Der Freistaat Bayern hat in Person von Wissenschaftsminister Markus Blume den Aufbau eines eigenen KI-Sprachmodells auf der Grundlage von Open Source angekündigt. Es soll den Namen BayernGPT tragen, also eine Kombination aus Freistaat und dem Top-Sprachmodell GPT von OpenAI. Ziel ist es, mehr unabhängig von diesen großen geschlossenen Large Language Models zu werden und so auch die Datensicherheit zu gewährleisten. Ist es generell sinnvoll, wenn Bundesländer oder ganze Staaten LLMs in Eigenregie entwickeln, um diese dann etwa im Rahmen von Behörden und Hochschulen einzusetzen?

“KI-Universität” TU Nürnberg im Mittelpunkt

Die TU Nürnberg wurde 2021 gegründet und hat den klaren Fokus auf Künstliche Intelligenz, etwa im Rahmen von Lehre und Forschung. Die Einrichtung soll nun maßgeblich am Aufbau & dem Training des Open-Source-Sprachmodells “Made in Bavaria” beteiligt sein.

Die TU Nürnberg (UTN) soll die Entwicklung des bayerischen Grundlagenmodells vorantreiben – im Verbund mit anderen bayerischen Hochschulen und Forschungseinrichtungen. Blume erwähnt in diesem Zusammenhang auch die Friedrich-Alexander-Universität Erlangen-Nürnberg.

Quelle: Br.de

Ein Expertengremium aus Hochschulen, bayerischem KI-Rat und bayerischer KI-Agentur soll dabei einen Fahrplan zur Entwicklung des Grundlagenmodells erstellen, die etwa. 5 Jahre dauern soll. Dieses Jahr wird mit der Anschaffung der Rechner-Infrastruktur, also dem Kauf von mehreren tausend Grafikprozessoren (GPUs), den Hochleistungsrechner begonnen. Diese GPUs sind aktuell mehr als gefragt und die US-Firma NVIDIA hat dabei eine marktbeherrschende Stellung inne. Die Grafikprozessoren würden an den beiden bayerischen Höchstleistungsrechenzentren – dem Leibniz-Rechenzentrum in Garching (LRZ) und dem Regionalen Rechenzentrum Erlangen (RRZE) – integriert werden.

Vorteile für (bayerische) Hochschulen

Ein eigenes Sprachmodell auf der Grundlage von Open Source zu entwickeln, bringt durchaus so einige Vorteile für Hochschulen. Hier gibt es eine kurze Übersicht, was dies für die teilnehmenden Einrichtungen bedeuten könnte:

• Kompetenzaufbau im Bereich von KI-Modellen etwa hinsichtlich Training und generell im Umgang mit LLMs etwa hinsichtlich Erfahrungswerten.

• Umfangreiche Verfügbarkeit von “KI-Infrastruktur” wie den GPUs, also speziellen Prozessoren, auf denen Sprachmodelle trainiert werden. Auch anderweitig nutzbar.

• Bessere Forschungsmöglichkeiten im Bereich Künstliche Intelligenz möglicherweise auch im Rahmen von internationalen Projekten. Die Prozessoren sind vor Ort und es bedarf keiner Erlaubnis von Externen.

• “Strahlkraft“, um Top-Mitarbeiter anzuziehen und langfristig zu binden. Die Hochschule arbeitet am Puls der Zeit (innovativ) und kann sich auch so nach außen präsentieren.

• Potenzielle Erweiterung im Rahmen von Kooperationen auf andere Hochschulen, da es sich um ein Open-Source-LLM handelt.

• Open-Source-Basismodelle dienen der Allgemeinheit, denn sie sind kostenfrei und über den Code frei zugänglich. Hohe Sympathien in der Bevölkerung.

• Mehr Unabhängigkeit von internationalen Sprachmodellen wie ChatGPT.und dadurch strategischer Einfluss auf die erhobenen Daten und einer potenziellen Abwanderung ins Ausland. Mehr Souveränität beim Datenschutz.

Natürlich gäbe es wie bei allen Projekten im Rahmen von neuen Technologien auch Risiken wie etwa hinsichtlich einer Fehlinvestition und der potenziellen Verschwendung von Steuergeldern.

“Swiss AI Initiative”: Schweiz mit ähnlicher Initiative

Nicht nur der Freistaat Bayern, sondern auch gleich um die Ecke die Alpenrepublik Schweiz hat mit der Swiss AI Initiative etwas ganz Ähnliches im Bereich der Entwicklung eines eigenen Open-Source-LLMs geplant. Im Fokus stehen hierbei die beiden technischen Universitäten, die ETHs aus Zürich und Lausanne. Zusätzlich wird dies von der Schweizer Regierung flankiert und auch von heimischen Unternehmen mitfinanziert. Es sind also möglichst viele Kooperationspartner aus den Bereichen Wissenschaften, Politik und Wirtschaft mit am Start, um die Schweiz mit dieser Initiative und dem dazugehörigen Supercomputer “Alps” weit nach vorne im weltweiten “KI-Rennen” zu bringen.

Fazit

Es ist aus meiner Sicht sehr wichtig in Europa eine Vielzahl an Large Language Models, ganz egal ob Open Source oder geschlossen zu entwickeln und nachhaltig an den Markt zu bringen. Zum jetzigen Zeitpunkt nur stets auf die etablierten Sprachmodelle wie Llama und Mixtral zu setzen, wäre wohl zu einseitig, da wir bei der Entwicklung von LLMs (GenAI) noch recht am Anfang stehen.  Je mehr große Sprachmodelle entwickelt werden, desto höher ist die Wahrscheinlichkeit, dass sich zumindest eines im internationalen Wettbewerb langfristig durchsetzen kann und auch signifikante Marktanteile mit Blick auf die tägliche Verwendung erzielt. Neben Mistral aus Frankreich gibt es noch ein großes Open-Source-LLM aus Finnland mit der Bezeichnung Poro (finnisch: Rentier) vom Startup Silo AI und nun in naher Zukunft wohl auch noch aus der Schweiz und Bayern. Next?

Ganz schlecht wäre gar nichts zu starten und zu gucken, was denn da so im Ausland passiert. Dies haben wir in den letzten Jahren in Deutschland leider zu oft getan und stehen daher in so einigen Statistiken überhaupt nicht mehr gut da. Das sollte sich (fix) ändern 😉

Die obere Abbildung zeigt große frei verfügbare Sprachmodelle (Open Source), die weltweit entwickelt werden. Auch diese Grafik kann gerne frei genutzt werden, im Rahmen der Lizenz CC BY 4.0 International.

Beitrag verfasst von