Seamless Streaming: Meta veröffentlicht weiteres Translation-Tool aus dem Open-Source-Package “Seamless Communication”

Veröffentlicht am 27. Dezember 202327. Dezember 2023 von Matthias Kindt

Meta AI hat mit Seamless Communition ein ganzes Bundle an Übersetzung-Tools komplett kostenfrei und Open-Source auf GitHub zur Verfügung gestellt. Mit Seamless Streaming kommt eine weitere tolle Anwendung hinzu, die eine gesprochene Sprache mit kurzer Verzögerung (Latenz) in Echtzeit per Audio und Text ins Englische oder in eine weitere Sprache übersetzen kann. Siehe dazu das untere Video (Quelle: Meta). Frei zum Testen steht das Tool jedem aktuell auf der Plattform HuggingFace zur Verfügung.

Eine Person spricht Spanisch und die andere Französisch und beide Sprachen werden kurz zeitversetzt per Audio und Text ins Englische übersetzt. Nicht wenige Personen verstehen eine Sprache wie Englisch besser, als dass sie diese aktiv sprechen können. Dies könnte bei einer Videokonferenz zu einem Hindernis werden, das man so elegant mit Seamless Streaming “umschiffen” könnte. Auch sind die Gesprächspartner in einem Meeting entspannter und produktiver, wenn sie in ihrer eigenen Muttersprache kommunizieren können.

Seamless Streaming kostenlos auf HuggingFace testen

Auf HuggingFace lässt sich die Anwendung kostenfrei in einem eigenen Room testen, auch mit mehreren Personen gleichzeitig. Dazu den Room erstellen und den dazugehörigen vierstelligen Code versenden. Den Code dann auf HuggingFace eingeben und Meeting starten. Die Sprache kann während des Gesprächs auch gewechselt werden, etwa von Ukrainisch auf Schwedisch oder umgekehrt. Das Transkript läuft dann live in der anderen Sprache ganz normal weiter. Das Tool ist wirklich einfach händelbar! Über Kopfhörer lässt sich das Audio hören.

Open-Source-Code auf GitHub verfügbar

Auch für den Bildungsbereich kann das “Seamless-Communication-Package” Verwendung finden, insbesondere hinsichtlich einer zunehmenden Migration, die natürlich auch erste Kommunikationsprobleme mit sich bringt. Nützliche Endgeräte wie Tablets sind mittlerweile an so gut wie jeder Schule in ausreichender Zahl verfügbar und diese ließen sich auch konsequent im Bereich der Übersetzung einbinden. Den Code dazu etwa auf GitHub herunterladen und stationär installieren.

Aussicht auf mehr!

Wie wäre e,s wenn sich Sprachtools dahingehend entwickeln, dass in Zukunft “der Umweg” Englisch gar nicht mehr nötig ist, sondern etwa das Spanische direkt ins Französische und umgekehrt übersetzt wird. So wäre die allgemeine Verständigung noch besser, da niemand mehr abhängig von seinen Englisch-Skills wäre, sondern ausschließlich in der Muttersprache kommunizieren könnte. Im Rahmen des Unterrichts wäre dies ein echter Glücksfall. Nicht wenige Personen mit unmittelbarem Migrationsbackground haben kaum Englisch-Skills und können daher solche Anwendungen nur bedingt nutzen. In Echtzeit von Deutsch auf Ukrainisch und umgekehrt mit Audio und Textskript wäre wohl weitaus effizienter. Technisch wäre dies wohl schon möglich.