KI-Professoren: Hong Kong University verbindet Virtual Reality (VR) mit Künstlicher Intelligenz (KI)

Die Hong Kong University of Science and Technologies (HKUST) hat unter der Leitung von Prof. Pan HUI im Rahmen des Hochschulkurses “Social Media for Creatives ihre innovativen” AI Lectures vorgestellt, die über Virtual Reality den Studierenden bei ihren Lernübungen mit Rat zur Seite stehen sollen. Also VR-Brille aufsetzen und dann mit Avataren auf der Grundlage von Künstlicher Intelligenz kommunizieren, so die Vorstellung der Hochschule.

Zu den verwendeten Tools zählen die Bilder-KI Midjourney, die als Ausgangspunkt gesehen werden kann, denn zuerst wird der potenzielle Avatar mittels AI Image generiert, um dann in weiteren Arbeitsprozessen zum Leben erweckt zu werden. Als weitere Anwendungen sind der Chatbot ChatGPT, ein Open-Source-Audio-gesteuerter Bildanimationsgenerator für sprechende Gesichter SadTalker und die erweiterte Version des Open-Source-Programms und 3D-Gesichtsanimationstool EmoTalk im Einsatz. Auch ein 3D-Ganzkörpergenerator gehört zur KI-Toolbox..

Dank der neuartigen Technologie sind diese 10 digitalen Dozenten, die aus verschiedenen Teilen der Welt mit unterschiedlichen Nationalitäten, Berufen und kulturellen Hintergründen stammen, bereits als Dozenten bei HKUST eingestiegen. Quelle: HKUST

Im Wesentlichen geht es bei den KI-Avataren, die in einer virtuellen Umgebung agieren, um eine bestmögliche Vermittlung von Wissen an die Studierenden. Es wurden unterschiedliche Typen, etwa nach Geschlecht oder Nationalität für die Generierung von KI-Avataren ausgewählt, wodurch sich jeder “Studi”, den für sie/ihn am besten geeigneten Charakter aussuchen kann, um so effizienter lernen/verstehen zu können. Auch der weltbekannte Physiker Albert Einstein taucht im Rahmen des Kurses als KI-Dozent auf und ermöglicht eine lockere Kommunikation auf Augenhöhe, was z.B. bei einem realen Dozenten wie einer Professorin oder einem Professor wohl so nicht immer möglich wäre. Antwortet nun der verstorbene Wissenschaftler auf eine Frage, dann kommen die Outputs von einem Sprachmodell wie GPT und in diesem Fall dem dazugehörigen Chatbot ChatGPT. 

In diesem Semester hat die Universität diese Dozenten beauftragt, einen Teil von „Social Media for Creatives“ zu unterrichten, einem campusübergreifenden Kurs, der Studierenden von HKUST und HKUST(GZ) zur Verfügung steht. Ihre Lehraufgaben umfassen eine Reihe spannender Themen im Zusammenhang mit verschiedenen Aspekten sozialer Medien, darunter Storytelling, Gamification, immersive Technologien, Non-Fungible Token (NFT), Nudge-Theorie und die Auswirkungen sozialer Medien. Quelle: HKUST

Zukünftig soll bei der Hong Kong University vermehrt die Technik Retrieval Augmented Generation (RAG) zum Einsatz kommen, die es ermöglicht multimodale Large Language Models (LLMs) wie GPT, um eigene Inhalte wie Vorlesungsskripte (Uploads) zu erweitern/verknüpfen, damit in diesem Fall die Avatare vor allem themenspezifisch mit den Studierenden kommunizieren und nicht allgemein über das Gesamtwissen eines Sprachmodells. Die ETH Zürich nutzt die Technik z.B. bei ihren Custom Bots. Siehe auch Erklärung zu RAG von NVIDIA.

Leider wird in dem Artikel nicht explizit die Plattform benannt, auf der die virtuellen Meetings mit den KI-Dozierenden in Eigenproduktion stattfinden, aber es ist davon auszugehen, dass es sich um das Metaverse der US-Firma Meta handelt, da die HKUST dort schon einen VR-Classroom eingerichtet hat.

Video-Embed der HKUST

Beitrag verfasst von