Gretchen AI entwickelt KI-gestützte Technologien zur Erkennung von Manipulationen in digitalen Medien und unterstützt Nutzer dabei, Bilder und Videos zuverlässig zu verifizieren
Wie ist die Idee zu Gretchen AI entstanden und wer sind die Köpfe hinter dem Unternehmen?
Die Gretchen AI-Gründer Daniel Röder, Arnab Das und Dr. Tim Polzehl bringen ihre langjährige Expertise als Forscher am DFKI Labor Berlin in das Unternehmen ein. Gretchen AI entstand inspiriert aus dem Forschungsumfeld von news-polygraph, Deutschlands größtem Projekt zur Verifikation digitaler Medieninhalte, in dessen Rahmen wir mit renommierten öffentlich-rechtlichen Medienhäusern als Projektpartnern zusammenarbeiten.
Was war der entscheidende Moment, an dem klar wurde, dass es für Deepfake- und Medienverifikation eine eigene Plattform wie Gretchen AI braucht?
Angesichts der täglichen Informationsflut, besonders in sozialen Medien, braucht es niederschwellige, schnelle und einfach bedienbare Tools für Verifikation und Gegenchecks. Davon profitieren professionelle Medienschaffende ebenso wie Bürgerinnen und Bürger, die sich etwa im Wahlkontext zuverlässig informieren wollen. Um auch künftig sicher zwischen Echt und Fake unterscheiden zu können, braucht es Lösungen wie Gretchen AI – KI, die nicht fälscht, sondern Fälschungen erkennt und Medien verifizierbar macht.
Welche Vision verfolgt Gretchen AI im Hinblick auf den Umgang mit digitalen Inhalten und Desinformation?
Unsere Vision ist, Journalisten und Faktenprüfern und auch anderen Usern schnelle, verlässliche und erklärbare KI-Tools bereitzustellen, um manipulierte oder aus dem Kontext gerissene, also Desinformationsinhalte zu erkennen, den Kontext offenzulegen und Medien mit Sicherheit zu verifizieren.
Wie funktioniert die sogenannte „Gretchen-Frage“ und welche Technologie steckt dahinter?
Die sogenannte „Gretchen-Frage“ steht sinnbildlich für das, was unsere Technologie tut: Sie fragt nach der Wahrheit hinter einem Bild oder Video. Wenn Nutzerinnen und Nutzer ein Medium hochladen, analysiert Gretchen AI dieses mit modernster künstlicher Intelligenz auf mögliche Manipulationen, wie beispielsweise Deepfakes, Bildbearbeitungen oder dekontextualisierte Inhalte.
Wir kombinieren technische Erkennungsmethoden (z. B. unsere eigenen Deepfake-Detection-Modelle) mit einer web-weiten Kontextanalyse. Das bedeutet: Unser System prüft nicht nur, ob ein Bild verändert wurde, sondern auch, wo und wie es zuvor im Netz verwendet wurde, zum Beispiel in einem anderen Zusammenhang, einer anderen Zeit, oder mit einer falschen Beschreibung (falschem Kontext).
Für welche Zielgruppen ist Gretchen AI besonders relevant – und wie unterstützt die Plattform Redaktionen, Unternehmen oder Behörden im Alltag?
Gretchen AI richtet sich in erster Linie an Journalistinnen, Faktenchecker und generell Redaktionen, die täglich unter Zeitdruck arbeiten und dabei die Echtheit von Bildern und Videos prüfen müssen. Die Plattform unterstützt sie, indem sie in Sekunden Hinweise auf Manipulationen liefert, Quellen verknüpft und den ursprünglichen Kontext eines Mediums sichtbar macht. Die gesammelten Informationen werden schnell, transparent und nachvollziehbar aufbereitet und kompakt präsentiert, so dass Nutzerinnen und Nutzer auf einer gut recherchierten Grundlage Entscheidungen treffen können.
Darüber hinaus ist Gretchen AI auch für andere Bereiche hochrelevant: Behörden und Sicherheitseinrichtungen können damit Desinformationskampagnen oder gefälschte Inhalte frühzeitig erkennen, Unternehmen und Marken können ihre Reputation schützen, und politische Akteure oder VIPs profitieren von einer zuverlässigen und weltweiten Spitzenferformance in der Erkennung kompromittierender Falschbilder.
Was unterscheidet Gretchen AI von anderen Tools, die sich mit Medienanalyse oder Faktenprüfung beschäftigen?
Die hybride Technologie aus tiefer forensischer Analyse, webbasierter Suche und KI-basierter Deepfake-Erkennung macht Gretchen AI einzigartig: Sie hilft Journalistinnen, Faktencheckern und Institutionen, Falschinformationen schnell, transparent und nachvollziehbar aufzudecken.
Unsere Deepfake-Erkennung erreicht ein weltweit führendes Leistungsniveau und übertrifft in Benchmark-Tests die aktuell verfügbaren Open-Source-Lösungen wie auch kommerzielle Mitbewerber. Doch damit nicht genug! Während sich viele bestehende Tools auf eine solche rein technische Spurenanalyse beschränken, geht Gretchen AI deutlich weiter – mit einem hybriden Ansatz aus forensischer Erkennung, Kontextrecherche und erklärbarer Ergebnisdarstellung.
Gretchen AI deckt den narrativen Kontext auf: Es wird sichtbar, wo und wie ein visuelles Material bereits verwendet wurde und ob dessen Einbettung mit aktuellen Behauptungen übereinstimmt. Unsere Plattform liefert transparente, erklärbare Ergebnisse mit vertrauenswürdigen Quellenangaben und stellt Glaubwürdigkeit, Integrität und Compliance ins Zentrum der Medienverifikation.
Wie schwer ist es, in einem Feld wie der KI-basierten Deepfake-Erkennung Vertrauen aufzubauen – und wie begegnet ihr dieser Herausforderung?
Vertrauen ist extrem wichtig, schließlich geht es bei Deepfakes und Desinformation genau darum, Glaubwürdigkeit wiederherzustellen. Gleichzeitig ist das eine der größten Herausforderungen, weil KI-Modelle oft als „Black Box“ wahrgenommen werden.
Bei Gretchen AI setzen wir daher konsequent auf Transparenz und Nachvollziehbarkeit: Unsere Ergebnisse sind immer erklärbar, mit klaren Quellenverweisen und Hinweisen darauf, warum ein Inhalt als manipuliert oder authentisch eingestuft wurde. Außerdem entwickeln wir unsere Technologien gemeinsam mit Journalist:innen, Fact-Checker:innen und Wissenschaftler:innen, um sicherzustellen, dass sie praxistauglich und vertrauenswürdig bleiben.
Welche Rolle spielt Transparenz bei der Arbeit von Gretchen AI und warum ist sie so wichtig für die Glaubwürdigkeit der Ergebnisse?
Transparenz ist ein wichtiger Teil der Gretchen AI DNA. Unsere Technologie liefert nicht einfach ein Ergebnis wie „echt“ oder „fake“, sondern zeigt nachvollziehbar, wann und in welchem Kontext ein Bild verwendet wurde, beispielsweise anhand eines Zeitstrahls. Nutzerinnen und Nutzer können jeden Analyseschritt einsehen, von der Erkennung von Manipulationen, über Metadaten wie Veröffentlichungszeitpunkte oder erkannte Personen im Medium bis zu den gefundenen originalen Quellen im Netz. Dadurch bleibt die Überprüfung nicht nur technisch präzise, sondern auch journalistisch belegbar.
Gerade in Zeiten, in denen KI oft als „Black Box“ wahrgenommen wird, ist diese Nachvollziehbarkeit entscheidend für Glaubwürdigkeit und Vertrauen. Nur wenn Menschen verstehen, warum ein Bild als manipuliert gilt, können sie fundierte Entscheidungen treffen und diese transparent weitergeben.
Wie hat sich das Unternehmen seit seiner Ausgründung aus dem DFKI entwickelt und welche Meilensteine konntet ihr bisher erreichen?
Das Unternehmen gewann schnell zahlreiche Unterstützerinnen und Unterstützer und wuchs kontinuierlich. Zu den wichtigsten Meilensteinen zählen die Auszeichnung durch die Bundesagentur für Sprunginnovation (SPRIND) im Rahmen der Deepfake Detection Challenge, die Nominierung für den Innovationspreis Berlin Brandenburg sowie mehrere erfolgreiche Aufnahmen in KI- und Medien-Acceleratorprogramme wie den MediaTech Hub Accelerator – ergänzt durch viele kleinere Bestätigungen wie bspw. den Award zum “Best Cybersecurity Startup” des FGTL Vivatechnology 2025. Am wichtigsten ist jedoch, dass Gretchen AI durch starke Leistungswerte und konsequente Transparenz kontinuierlich Vertrauen aufbauen konnte – sowohl bei Kundinnen und Kunden als auch in die dahinterstehende Technologie.
Welche Entwicklungen oder neuen Funktionen sind für die nächsten Monate geplant?
In den kommenden Monaten erweitern wir Gretchen AI um mehrere spannende Funktionen. Besonders im Fokus steht die Analyse und Suche von Videoinhalten, damit sich diese künftig noch leichter automatisch auf Manipulation und Kontext prüfen lassen. Außerdem wird es eine Sprachanalyse-Funktion geben, mit der sich Deepfakes auch in Audioinhalten erkennen lassen.
Wir erweitern die Suchagenten, um nicht nur inhaltlich ähnliche (nicht nur exakt gleiche) Bilder und Videos zu finden, sondern auch Bilder des selben Events oder Vorgangs zu finden, selbst wenn matching einmal nicht so leicht sein sollte.
Für unsere Nutzerinnen und Nutzer wird das Dashboard zudem noch einfacher zugänglich: Erklärvideos und interaktive Hilfen sollen den Einstieg beschleunigen und den Workflow erleichtern.
Was sind die größten technischen oder gesellschaftlichen Hürden, wenn es darum geht, Manipulation in digitalen Medien zuverlässig zu erkennen?
Technisch entwickeln sich Deepfakes und generative KI generell extrem schnell weiter: Modelle werden immer besser darin, natürliche Bewegungen, Stimmen und Lichtverhältnisse realistisch zu imitieren. Damit verschwinden viele klassische Hinweise auf Fälschungen (beispielsweise ungewöhnliche Schatten oder Extremitäten). Mit der rasanten Weiterentwicklung von KI mitzuhalten und auch neueste Modellgenerationen zuverlässig zu erkennen, bleibt eine fortlaufende Herausforderung, der wir uns mit voller Energie und Entschlossenheit stellen.
Gesellschaftlich ist die größte Hürde das Vertrauen: Menschen müssen lernen, KI-Ergebnisse richtig einzuordnen und kritisch zu hinterfragen. Auch der Wunsch nach schnellen Schlagzeilen oder viralen Inhalten führt dazu, dass Fakes sich oft schneller verbreiten als ihre Korrektur.
Welche drei Ratschläge würdet ihr anderen Gründerinnen und Gründern geben, die mit einer KI-basierten Idee starten möchten?
Startet nicht mit dem Modell, sondern mit einem echten Problem, das jemand wirklich lösen möchte. Dabei gibt es prinzipiell kein Tabu!
Baut früh Prototypen und testet kontinuierlich mit Nutzerinnen und Nutzern – nicht im stillen Kämmerchen entwickeln.
Denkt von Anfang an über Vertrauen, Datenethik und Transparenz nach, sonst verliert ihr schon, bevor ihr skalieren könnt.
Bild Fotocredit KI generiert
Wir bedanken uns bei Dr. Tim Polzehl für das Interview
Aussagen des Autors und des Interviewpartners geben nicht unbedingt die Meinung der Redaktion und des Verlags wieder
