„GPT-OSS“: Offene Sprachmodelle von OpenAI vielfältig nutzen

OpenAI hat zwei offene Sprachmodelle veröffentlicht und zwar mit „gpt-oss-20b“ ein kleineres und mit „gpt-oss-120b“ ein größeres Language Model. Diese lassen sich über Hugging Face und GitHub herunterladen und lokal auf dem eigenen Rechner nutzen. Im offiziellen Blogbeitrag von OpenAI sind alle Details dazu vorhanden, auch die Benchmarks, also wie gut denn die beiden Open-Source-Models im Vergleich zu anderen LLMs abschneiden. Kurz zusammengefasst: Sie performen „ziemlich gut“.

Beide „OSS-Modelle“ im Playground ohne Login verfügbar

OpenAI hat allen Nutzern einen Playground eingerichtet, in dem man auch ohne Login in einem simplen Chatinterface die beiden offenen Modelle im Reasoning-Modus mit unterschiedlichen Reasoning-Level testen kann. Es fällt auf, dass der Output häufig in Form einer Tabelle und auch in Stichpunkten ausgegeben wird.

Es ist natürlich alles Geschmackssache, wie man dies gerne präsentiert haben möchte, aber mir persönlich gefällt diese Vorgehensweise richtig gut, um eine bestimmte Thematik schnell und übersichtlich verstehen zu können, also fernab von umfassenden Outputs im Stile eines Blogbeitrags mit sehr viel Text. Hier dürfte es auch generell um Ressourceneffizienz gehen bezüglich der verwendeten Tokens. Es braucht nicht immer gleich einen ganzen Roman, um bestimmte Zusammenhänge zu erfassen 😉

oss

Die obere Abbildung zeigt einen Output mit dem PromptErkläre Quantencomputing„. Der Playground läuft über OpenAI-Server und ist insgesamt hinsichtlich der Funktionen sehr knapp gehalten. Gerne mal kurz auf die Webseite navigieren und einige Prompts setzen.

OpenAI kooperiert mit Ollama

Eine weitere Möglichkeit, die „OSS-Modelle“ zu nutzen, bietet z.B. die offene Anwendung Ollama, die seit Kurzem ein schickes Chatinterface integriert hat und es so auch für Laien recht einfach ist, offene Sprachmodelle auf dem eigenen Rechner zu verwenden.ollama

Der obere Screenshot zeigt die geöffnete Ollama-Oberfläche mit der Auswahl von „gpt-oss-120b“. Da Ollama mit OpenAI kooperiert, ist es zudem möglich, die beiden LLMs nicht nur datenschutzkonform offline zu verwenden, sondern ebenfalls über eine Cloud-Lösung, die dann über die Ollama-Server läuft. Klickt man auf den Button „Turbo“ mit dem „Wölkchen“, dann ist diese Funktion an und lässt sich in einem kleinen Umfang kostenfrei testen. Auch ein Web Search ist so möglich. Es gibt also insgesamt mehrere Möglichkeiten, die Open-Source-Models von OpenAI nutzen zu können.

Autor des Beitrags

matthias kindt

Matthias Kindt auf Linkedin

Kennzeichnung: Beitragsbild KI-generiert mit ChatGPT-4o

 

Ähnliche Beiträge