Text aus einer Grafik extrahieren mit dem Code Interpreter

Ein Beitrag von Matthias Kindt

Der Code Interpreter ist ein multimodales Tool von OpenAI, das User über einen Premium-Zugang nutzen können. Das Besondere der Anwendung ist die Multimodalität, die es erlaubt auch Bilder oder Grafiken hochzuladen und bearbeiten zu lassen.

Im obigen Video wird gezeigt, wie eine Grafik über die Upload-Funktion hochgeladen wird und per Prompt Anweisungen zu Bearbeitung gegeben wurden. Das Tool lässt sich sehr einfach mit der Chat-Funktion von ChatGPT-4 verwenden. Im Folgenden sind die Ergebnisse eins zu eins (Copy & Paste) sichtbar. Natürlich lassen sich die Erklärungen bezüglich der Anwendungen noch weiter konkretisieren, auch mit passenden Einsatzmöglichkeiten.

Tools für Ihr Literaturüberblicksprojekt:

• PubMed: Ein kostenloses Tool des NIH, das die Suche und den Abruf von biomedizinischen und lebenswissenschaftlichen Daten unterstützt.

• Research Rabbit:

  • Ein kostenloses Tool für Literaturübersichten.
  • Visualisiert komplexe Beziehungen in der Literatur.

• Grammarly:

  • Ein Schreibassistent, der Rechtschreib-, Grammatik- und Zeichensetzungsfehler überprüft.

• Zotero:

  • Ein leistungsstarkes und benutzerfreundliches Forschungstool.
  • Hilft Ihnen, akademische Literaturquellen zu organisieren, zu analysieren und zu zitieren.

• Mendeley:

  • Ein Zitations-Tool.
  • Unterstützt die Literaturnutzung.

• Connected Papers:

  • Ein visuelles Tool, das Forschern hilft, relevante Arbeiten zu finden.

• Google Scholar:

  • Ein kostenloses Tool zum Durchsuchen neuester wissenschaftlicher Artikel, Dokumente und Bücher.

• PaperPal:

  • Unterstützt Akademiker dabei, besser und schneller zu schreiben.
  • Bietet Echtzeit-Vorschläge für gründliche Sprach- und Grammatikkorrekturen.

• Elicit:

  • Eine kostenlose KI-App.
  • Hilft beim Finden von Artikeln, Datenextraktion, Zusammenfassung und Ideenfindung.

• LitMaps:

  • Unterstützt Sie bei der Suche nach Artikeln und Papieren für Ihre Literaturrecherche.
  • Erstellt eine Karte der relevantesten Artikel im Zusammenhang mit Ihrem Ausgangsartikel.

• Quillbot:

  • Ein von KI angetriebenes Paraphrasierungstool.
  • Hilft beim Umschreiben, Bearbeiten und Ändern des Tons eines Textes zur Verbesserung der Klarheit.

• EndNote:

  • Ein persönliches Zitations-/Bibliografie-Verwaltungstool.
  • Unterstützt Forscher beim Erstellen von Bibliografien und Formatieren von Referenzen in MS Word.

Fazit

In diesem Fall hat der Code Interpreter eine tolle Arbeit geleistet, da er alles Tools zu 100 % erfasst und auch in der Reihenfolge wiedergegeben hat. Es gab keinerlei Halluzinationen, wie dies bei anderen Anwendungsfällen nicht selten der Fall ist. Ein Extrahieren von Text aus einer Grafik etwa mittels Zusammenfassung kann sich als sehr sinnvoll erweisen, insbesondere wenn diese nicht-deutschsprachig verfasst wurde oder es generell Verständnisprobleme z.B. bezüglich des technischen Verständnisses gibt. Natürlich ist solch ein Prozess auch sehr zeiteffizient bzw. spart dem Nutzer so einige “Minuten” an Arbeit.

Egal ob in der Hochschullehre oder klassisch in der Forschung, diese Methode ist für alle Beteiligten mehr als interessant, so lange wie in diesem Beispiel gezeigt auch einwandfrei funktioniert.