SIGMA: Open-Source-Mixed-Reality-System mit Verbindung zu Large Language Model (LLM)

SIGMA ist ein Projekt von Microsoft Research, das die Technologien Virtual Reality und Künstliche Intelligenz verbindet, damit User bestmöglich und zeiteffizient Aufgaben erledigen können. Es kann als eine Art VR/KI-Support angesehen werden, um wie im Beispielvideo etwa einen 3D-Drucker einzurichten. SIGMA ist eine Open-Source-Anwendung, die über HoloLens 2 von Microsoft läuft.

Situated Interactive Guidance Monitoring (SIGMA)

SIGMA steht für Situated Interactive Guidance Monitoring and Assistance) und wird auf Grundlage der Platform for Situated Intelligence (PSI) entwickelt. Die Anwendung steht Usern über GitHub kostenfrei zur Verfügung und kann für eigene Zwecke heruntergeladen und weiterverwendet werden.

Im oberen Video möchte der Nutzer einen 3D-Drucker fachgerecht anschließen und kombiniert hierbei die virtuelle Realität hinsichtlich der Objekterkennung eines Schlauchs oder einer Schere sowie passenden virtuellen Pfeilen mit der Kommunikation auf der Grundlage eines Large Language Models wie z.B. GPT von OpenAI. Hier werden die Vorzüge von VR und KI miteinander verbunden. Die Künstliche Intelligenz in Form eines Sprachmodells dient der stetigen Kommunikation in Echtzeit zwischen Endverbrauchern und Chatbot, wodurch Nutzer auch außerhalb des entwickelten VR-Programms Fragen stellen können, falls sie bei bestimmten Abläufen wie der Anbringung eines Schlauchs im Rahmen des 3D-Drucks Hilfe benötigen So ließen sich potenziell schwerwiegende Fehler beim Einbau oder Betrieb im Vorfeld vermeiden.

Die aktuelle Funktionalität von SIGMA ist relativ einfach, aber das System bietet einen wichtigen Ausgangspunkt für die Entdeckung und Erforschung von Forschungsherausforderungen an der Schnittstelle von Mixed Reality und KI. Von Computer Vision bis hin zur Spracherkennung können und wurden viele Forschungsprobleme, insbesondere im Bereich der Wahrnehmung, auf der Grundlage gesammelter Datensätze untersucht. Quelle: Microsoft

Im unteren Screenshot ist die Szene des 3D-Druckers noch einmal von außen dargestellt und zeigt den User mit VR-Brille. In der mittleren Abbildung ist sichtbar, dass der Chatverlauf im Rahmen des LLMs als Historie aufgezeichnet wird, wodurch mehr Übersichtlichkeit gegeben ist und man sich auch während des Gesprächs darauf beziehen kann. Das Interface ist insgesamt sehr nutzerfreundlich gehalten.

Verwendete Quellen:

https://www.microsoft.com/en-us/research/blog/sigma-an-open-source-mixed-reality-system-for-research-on-physical-task-assistance/

https://www.microsoft.com/de-de/hololens/buy

https://github.com/microsoft/psi

https://github.com/microsoft/psi/tree/master/Applications/Sigma

Ein Beitrag von