Datenschutzkonformes Interface HAWKI wird mit Open-Source-Sprachmodellen verbunden

Das datenschutzkonforme und auf GitHub frei verfügbare Interface HAWKI der HAWK Hildesheim, das bislang mit den Language Models GPT von OpenAI verbunden war, um den Top-Chatbot ChatGPT allen Studienenden und Lehrenden kostenfrei zur Verfügung zu stellen, wird nun auch mit den Open-Source-Sprachmodellen Llama (Meta), Mixtral (Mistral AI), Qwen (Alibaba) und Neural (Intel) connected.

HAWKI bietet nun offene Language Models an

Im unteren Video, das einer der “Chef-Designer” des HAWKI Vincent Timm aufgezeichnet hat, ist erkennbar, wie sich nun in der HAWKI-Umgebung mittels Switch im Drop-Down-Menü das gewünschte Language Model wechseln lässt und dies alles in einem Chatverlauf. Auch den System-Prompt können Administratoren nun anpassen, um die Outputs gezielt zu beeinflussen.

Wer die bisherige Version des HAWKI nach dem Update vergleicht, dem wird direkt auffallen, dass ein Drop-Down-Menü oberhalb der Promptleiste hinzugefügt wurde und ebenfalls ein Button zur Änderung des System-Prompts. Der untere Screenshot zeigt noch die ältere Version der HAWKI-Umgebung. 

Das Interface wird nun also weiterentwickelt und auf den aktuellen Stand gebracht, vor allem hinsichtlich der Einbindung offener Sprachmodelle, die über Plattformen wie HuggingFace oder GitHub zum Download bereitstehen und sich dann stationär auf den eigenen Servern hochladen lassen, alles kostenlos. Die frei verfügbare Nutzeroberfläche HAWKI kann aktualisiert über GitHub heruntergeladen werden, damit User neben ChatGPT zusätzlich die 4 Open-Source-LLMs per API stetig einbinden können.

Kooperation mit der GWDG: “Model-Hosting” in Göttingen

Um die Sprachmodelle nachhaltig zu hosten, also diese auf Servern langfristig speichern, regelmäßig Updates vornehmen, dem Anbieten von APIs (Programmierschnittstelen) sind die Beteiligten bei der HAWK Hildesheim (Niedersachsen) eine Kopperation mit der GWDG – Gesellschaft für wissenschaftliche Datenverarbeitung mit Sitz in Göttingen (Niedersachsen) eingegangen, da dort ausreichend Kapazitäten bzw. Rechenkontingente und auch notwendigen “KI-Kompetenzen” verfügbar sind. Das Hosting läuft über das KI-Servicezentrum KISSKI mit Standort in Göttingen, wo im Rahmen der Nutzung keinerlei Daten erhoben werden. Es handelt sich also um eine stationäre Lösung “Made in Germany”. 

Hier geht es zum Anmeldeformular

Die GWDG bietet hierbei allen Hochschulen eine kostenlose Nutzung der Basismodelle Intel Neural Chat 7B, Meta Llama 3 70B instruct, Mixtral 8x7B instruct, QWEN 1.5 72B chat an. Möchten Einrichtungen diese im Rahmen eines Finetuning anpassen, dann würden Kosten anfallen. Abgeänderte Language Models auf der ursprünglichen Grundlage der offenen LLMs ließen sich dann ebenfalls zum Beispiel hinsichtlich von Forschungszwecken ganz gezielt per API wieder einbinden und im Drop-Down-Menü auswählen. Theoretisch könnte so jeder Fachbereich einer Hochschule ein ganz eigenes Sprachmodell entwickeln, um dieses etwa für den Fachbereich Biologie, Wirtschaft oder den Ingenieurwissenschaften allen Studierenden und Lehrenden zur Verfügung zu stellen. Auch das Betreiben von Custom Bots wäre perspektivisch so möglich.

Fazit: Das HAWKI entwickelt sich super!

Schon seit Beginn verfolge ich persönlich die Entwicklung des datenschutzkonformen Interface HAWKI und habe selber einen Zugang im Rahmen der Bereitstellung seitens der HAWK Hildesheim. Besten Dank dafür 😉 Mittlerweile nutzen viele Hochschulen in ganz Deutschland die kostenlose Oberfläche zur Einbindung von Sprachmodellen wie ChatGPT per API und es werden stetig mehr. Dazu zählen etwa die Hochschule München, Universität Hamburg oder Fachhochschule Kiel. Gemeinsam mit Beteiligten der Universität Hamburg wurde erst vor Kurzem ein neues “Bauteil” dem HAWKI hinzugefügt und zudem ist das Interface nun in unterschiedlichen Sprachen verfügbar.. So geht hochschulübergreifende Kooperation! 

Die Zusammenarbeit mit der GWDG und dem Anbieten von 4 Open-Source-LLMs ist nun ein weiterer Schritt, um das Interface zu verbessern bzw. auf den aktuellen Stand zu bringen. Mehrere Chatbots in nur einem Chatverlauf nutzen und das spontane Wechseln läuft simpel über ein Drop-Down-Menü ist mehr als sinnvoll und vorbildlich nutzerorientiert “designt”. Next? 

Ein Beitrag erstellt von