Der Kaffeezubereitungstest: Wie misst man „echte“ künstliche Intelligenz?
Freie Beitragsnutzung mit einem Unidigital-Zugang
Seit der Veröffentlichung von OpenAIs Top-Sprachmodell GPT‑6 Astra wird in diesem Zusammenhang häufig der Begriff der „Artificial General Intelligence (AGI)“ diskutiert, bei der es um die sogenannte allgemeine künstliche Intelligenz geht, die im Vergleich zur generativen KI tatsächlich „intelligent“ sein soll. Aber wie lässt sich dies eigentlich messen? Ein simpler Kaffeezubereitungstest könnte als ein einfacher Maßstab dienen.
Um zu klären, wie der Kaffeebereitungstest funktioniert, habe ich zuerst ein Gemini Notebook mit Wissensgrundlage des offiziellen Wikipedia-Artikels zur AGI erstellt. Hierfür wurde einfach die URL zum Artikel per Copy & Paste eingefügt. Anschließend nutze ich das neue Videokurzformat, das auf der rechten Seite über die Kachel „Videoübersicht“ verfügbar ist.
Im neuen Fenster „Video-Zusammenfassung anpassen“ wird als Format „Kurz“ und als Sprache „Deutsch“ festgelegt. Ganz unten wähle ich zusätzlich das von Gemini empfohlene Thema „Wie man echte Intelligenz misst“ und klicke auf den Button, um das Feld zu aktivieren. Jetzt fokussiert sich das erklärende Kurzvideo ausschließlich auf dieses Thema.
Nach einem Klick unten rechts auf den Button „Generieren“ startet der Entwicklungsgang, der einige Minuten dauern kann. Das fertig generierte Video mit einer Länge von knapp über einer Minute wird im Hochformat ausgegeben und kann direkt im Notebook abgespielt und auf den eigenen Rechner heruntergeladen werden.
Das Video zeigt mit Text, Abbildungen und bewegten Elementen, wie sich AGI von heutiger GenAI unterscheiden lässt – und wie man diesen Unterschied überhaupt messen kann. Der sogenannte „Kaffeezubereitungstest“ (zurückgehend auf Apple-Mitgründer Steve Wozniak) bringt es auf den Punkt: Ein Roboter soll sich in einer beliebigen, ihm unbekannten Küche zurechtfinden und dort einen „guten“ Kaffee kochen.
Das Beitragsbild zeigt die zentrale Herausforderung: fremde Umgebungen, die sich von den Situationen unterscheiden, auf die ein System trainiert wurde. Ein Roboter, der auf einem generativen VLM (Vision-Language-Modell) bzw. genauer einem VLA-Modell (Vision-Language-Action) basiert, kann bereits heute in vielen Küchen einigermaßen zurechtkommen – solange sie den Trainingssituationen ähnlich genug sind. Wechselt die Umgebung aber radikal, etwa von einer High-Tech-Küche zu einer rustikalen Altbauküche, gerät er ins Straucheln: Seine Fähigkeit zu generalisieren ist begrenzt.
Ein System mit echten AGI-Fähigkeiten hingegen – das es heute noch nicht gibt – müsste sich in jeder Küche zurechtfinden. Es wäre zwar genauso trainiert wie heutige Systeme, könnte sein gelerntes Wissen aber so abstrahieren und flexibel übertragen, dass auch völlig neue, unbekannte Situationen kein Problem mehr wären.
Der „KI-Kaffee“ sollte dann wirklich immer gleich gut schmecken 😉
