Scribble Diffusion meets Gen-2 Runway: Aus einer Strichzeichnung wird ein Kurzfilm

Erstellt von Matthias Kindt

Es gibt mittlerweile so allerlei Tools auf der Grundlage von Künstlicher Intelligenz und viele sind im Bereich des künstlerischen Handels bzw. innerhalb des kreativen Denkens einsetzbar. KI-generierte Bilder spielen seit Midjourney und DALL-E eine übergeordnete Rolle und auch die Erstellung von Videos aus Texten oder Images ist schwer im Trend. Doch wie wird aus einer simplen Zeichnung mittels browserbasiertem Tool ein ganzes Video und lässt sich dieser Prozess womöglich sinnvoll innerhalb der Lehre einbetten?

Scribble Diffusion: Draw-2-Image

Scribble Diffusion ist ein kostenfreies und browserbasiertes KI-Tools, das kinderleicht bedienbar ist. Mit der Maus oder dem Tablet-Stift eine gewünschte Zeichnung anfertigen, zusätzlich noch einen Prompt setzen und zack die Anwendung generiert im Handumdrehen ein tolles Bild, das nun frei verwendbar ist. Eine Alternative zu Scribble Diffusion wäre Stable Doodle, das über die Tools von ClipDrop verfügbar ist.

Gen-2 Runway: Image-2-Video

Um das Bild so weiterzuverarbeiten, dass nun schlussendlich ein Video rauskommt, ließen sich Tool wie z.B. Gen-2 Runway nutzen. Für längere Videos ist die Anwendung kostenpflichtig, bietet aber auch diverse Einstellungsmöglichkeiten. Einfach Bild hochladen, ebenfalls einen Prompt eingeben und in diesem beschreiben, wie das Video ablaufen soll. Es ließen sich z.B. viele kurze Videos produzieren, die man dann am Ende über ein Video-Programm zu einem längeren Film zusammensetzt. Dies ist alles möglich. Als Alternative zu Gen-2 Runway wird an dieser Stelle D-ID! angeführt, die für die Produktion den Kurzfilms The Frost genutzt wurde. Make-A-Video von Meta ist auch zu nennen.

Hybrider Kurzfilm: Draw- & Real-Movie

Eine coole Möglichkeit wäre einen hybriden Film, also eine Kombination aus animierten Zeichnungen und aus den daraus resultierten Bildern zu drehen. Z.B. ließe sich alle 30 Sekunden ein Switch vornehmen, sodass die Story dann von Real-Videos zu Schwarz-Weiß-Sequenzen wechselt und umgekehrt, denn auch Zeichnungen lassen sich in ein Video umwandeln.

Einsatzmöglichkeiten für Lehrende

Auch außerhalb der klassisch künstlerischen Fächern ließen sich Einsatzmöglichkeiten innerhalb der eigenen Lehre skizzieren. Klar, eine Produktion solch eines Filmes würde natürlich extrem viel Sinn im Bereich der Filmhochschulen oder Hochschulen für Bildende Künste (HBK) machen, aber auch auf den naturwissenschaftlichen Themenfeldern bieten sich viele Einsatzszenarien, alles natürlich vor dem Hintergrund, dass die KI-Anwendungen auch hinsichtlich der Prompt-Effizienz optimal laufen und somit auch für Laien geeignet sind.

Wenn das Auge über einen eigens erstellten Kurzfilm sieht, wie sich z.B. die Kräfte innerhalb der Technischen Mechanik oder Wendepunkte im Bereich der Kurvendiskussion bewegen, dann bleiben diese Bilder bei den Lernenden ganz anderes nachhaltig im Gedächtnis hängen, als “nur” über das simple Lesen und Anschauen von Abbildungen. Das Gehirn kann solch animierte Sequenzen viel besser speichern. Und schon wird die Lerneffizienz gesteigert.

Im Prinzip lassen sich alle Wissenschaften animieren und dem Auge so elegant vorführen. Es gäbe sehr viele Einsatzmöglichkeiten, natürlich auch im Schulbereich, um schon den Kleinen die MINT-Fächer und generell das Verständnis spielerisch ganz ohne Serious Games beizubringen, etwa im Rahmen einer zweiwöchigen Projektarbeit. Auch Vorbereitungskurse an Hochschulen für Studienbeginner lassen sich so mal ganz anders präsentieren und gehen ein stückweit weg vom Frontalunterricht hin zur anfänglichen Gruppenarbeit.

Insbesondere hybride Kurzfilme eigen sich ganz hervorragend für Fächer, in denen sehr häufig Zeichnungen etwa im Rahmen von Koordinatensystemen, Molekülen oder eben Bauplänen und Verkehrssimulationen Verwendung finden. Der Dozierende legt dabei den Switch fest, also wann es am meisten Sinn macht, wieder in die ursprüngliche Schwarz-Weiß-Zeichnung zu wechseln. Dies ließe sich wohl abhängig vom jeweiligen Tool fix durchführen bzw. zu Beginn festlegen.