Eine englischsprachige Skizze mithilfe von GPT4-V analysieren

Veröffentlicht am 1. November 202312. November 2023 von Matthias Kindt

Dieser Beitrag zeigt die Möglichkeiten der Verwendung von GPT-4V (Upload-Funktion) in Kombination mit einer technischen Zeichnung (Skizze), die auf Englisch angefertigt wurde.

Der Prompt lautet:

„Analysiere folgende Abbildung auf Deutsch. Verwende Zwischenüberschriften und schreibe eine kurze Schlussfolgerung am Ende”

Das Sprachmodell analysiert nun die Grafik “Framwork of AI Learning” und gibt deren Inhalt gegliedert mit Überschriften aus. Der Output wurde eins zu eins übernommen und nicht auf die Richtigkeit dieser “Aussagen” kontrolliert!

Die folgende Abbildung stammt aus dem Linkedin-Newsletter der Data-Science-Spezialistin Alex Wang (USA).

Output Start

Rahmenwerk des AI-Lernens Die Abbildung zeigt ein strukturiertes Rahmenwerk zum Erlernen von künstlicher Intelligenz (KI oder AI). Es wird betont, dass der gesamte Inhalt in nur vier Kursen abgedeckt werden kann.

Von den Grundlagen beginnen Es gibt drei Kernbereiche, die als Basis für das AI-Lernen betrachtet werden:

Mathematik
Statistik
Programmierung

Detaillierte Kursstruktur

Kurs A behandelt Mathematikthemen wie Lineare Algebra, Wahrscheinlichkeit und Calculus.
Kurs B fokussiert sich auf die Themen Statistik und Programmierung und bietet Einführungen in die “Plattform A”.
Kurs C ist dem Maschinellen Lernen (Machine Learning) gewidmet und untergliedert dieses in spezifische Unterbereiche wie überwachtes Lernen (Supervised ML) und die Grundlagen von Neuronalen Netzen/Deep Learning.
Ein weiterer Deep Learning Kurs vertieft dann spezielle Bereiche wie Neural Networks, Computer Vision und NLP (Natural Language Processing).

Praxisorientiertes Lernen Das Framework betont die Bedeutung von praxisorientiertem Lernen. Es wird vorgeschlagen, praktische Projekte, wie solche von Kaggle, durchzuführen und diese Projekte im Lebenslauf hinzuzufügen. Das kontinuierliche Lernen wird auch während der Arbeit empfohlen.

Schlussfolgerung Die Abbildung präsentiert einen umfassenden und strukturierten Ansatz zum Erlernen von AI. Durch das Absolvieren von nur vier Kursen, die von Grundlagen bis zu spezialisierten Themen reichen, und durch das Hinzufügen von praxisorientierten Projekten können Einzelpersonen eine fundierte AI-Ausbildung erhalten und ihre Fähigkeiten im Berufsleben weiterentwickeln.

Output Ende

Fazit: Insbesondere Grafiken, bei denen zum Verständnis technisches Know-how vorhanden sein muss und natürlich noch gute Englisch-Skills dazu, um diese auch noch fix und fehlerfrei ins Deutsche zu übersetzen, können multimodale Sprachmodelle wie GPT-4 Vision mehr als nur ein kleiner Helferlein sein! Vorausgesetzt, die Analyse erfolgt fehlerfrei, lassen sich so auch sehr komplexe Abbildungen egal in welcher Sprache, ob nun Englisch, Französisch, Russisch oder Mandarin im Handumdrehen bzw. mit einem kurzen Prompt und mit einer hochwertigen Analyse etwa ins Deutsche übersetzen.

Grafik neu einfärben (leicht grau) mit dem Tool Data Advanced Analysis von OpenAI

Gleich “um die Ecke” lässt sich die Abbildung über das Tool Advanced Data Analysis hochladen und neu einfärben. In diesem Beispiel wurde im Prompt die “Farbe” leicht grau gewählt. Solch ein Modellwechsel wird in naher Zukunft nicht mehr möglich sein, da OpenAI dies einem Chat zusammenfasst, also selbstständig automatisch das geeignete Modell ChatGPT, Advanced Data Analysis oder DALL-E3 gewählt wird. Also ließe sich dann in einem Chat-Verlauf eine Analyse, Bildbearbeitung und auch Neu-Generierung eines Bildes durchführen. Unglaublich zeiteffizient!