Adobes AI-Detektor für gephotoshopte Gesichter

Adobe hat ein AI-Tool entwickelt, mit dem sich gephotoshopte Gesichter erkennen lassen, das Tool funktioniert allerdings nur sehr eingeschränkt und erkennt lediglich Bilder, die mit Photoshops Face Aware Liquify bearbeitet wurden. Dazu haben sie eine Machine Learning Algorithmus auf die typischen Verzerrungen, Artefakte und Muster trainiert, die dieser Filter in den Bildern hinterlässt.

Futurezone: KI erkennt, ob Gesichter gephotoshopt wurden
Adobe Research and UC Berkeley: Detecting Facial Manipulations in Adobe Photoshop
Paper: Detecting Photoshopped Faces by Scripting Photoshop

Most malicious photo manipulations are created using standard image editing tools, such as Adobe Photoshop. We present a method for detecting one very popular Photoshop manipulation — image warping applied to human faces — using a model trained entirely using fake images that were automatically generated by scripting Photoshop itself. We show that our model outperforms humans at the task of recognizing manipulated images, can predict the specific location of edits, and in some cases can be used to “undo” a manipulation to reconstruct the original, unedited image. We demonstrate that the system can be successfully applied to real, artist-created image manipulations.

Ich wundere mich grade, dass digitale Bild-Forensik hier noch nicht weiter ist und warum dieses Tool nun durch die Medien geht. Es ist für Adobe ein leichtes, dieses Tool herzustellen, immerhin haben sie selbst den Filter entwickelt – dieser Machine Learning-Algo ist „nur“ Sort-Of-Backwards-Engineering, die haben hier nur ein Neural Network auf die Artefakte eines hauseigenen Algos trainiert.

Um das mal zu veranschaulichen: Es gibt in Photoshop den bekannten Wirbel-Effekt, den jeder schonmal gesehen hat. Um diesen Wirbel nun zu erkennen, programmiere ich einfach einen Anti-Wirbel und das kann ich am besten tun, wenn ich den Original Wirbel-Algorithmus kenne. Deshalb halte ich diese AI weder für clever noch erstaunlich oder bemerkenswert und wundere mich eben, dass die Bild-Forensik hier noch nicht weiter ist. Auch die Methodik des Data-Scraping ist zur Entwicklung eines solchen ML-Modells suboptimal: Die haben ihre Bilder aus dem Open Images-Dataset mit „human face“-Label zusammengestellt, das wiederum aus Bildern von Flickr besteht. Adobe hat keine Ahnung, ob diese Bilder nicht bereits vorher bearbeitet und gephotoshopt waren, was das Ergebnis ihres Algos in jedem Fall verfälscht. Für eine echte, wirksame Methode müssten sie die Bilder selbst fotografieren, um sicherzustellen, dass ihr Algo auf den puren Artefakten der Effekte trainiert wird, und nicht auf die Spuren eines Photoshop-Effekts, der auf Artefakte eines Photoshop-Effekts angewendet wurde.

Trotzdem netter Versuch und die Bemühungen zur „Demokratisierung von Foto-Forensik“ ist nett gemeint, aber ich halte das Paper dennoch für zu spezifisch (nur auf einen einzigen Effekt anwendbar) und die Datenquelle für suboptimal.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

The Lumineers’ neues Album als Kurzfilm in zehn Musikvideos

Buch-Cover alter SciFi-Klassiker: The Illustrated Man, Metropolis, I Robot, Bodysnatchers, A Scanner Darkly

Evoboxx: Game of Life-Synthesizer

[Klimalinks 21.9.2019] Global Climate Strike; Klimapaket der Bundesregierung: Too little, too late; Google/Amazons Klima-Pläne

Musikvideos_Anyway Gang Planet B Comet Gain Rosegarden Funeral Party Vivian Girls Lou Rebecca Chromatics The New Pornographers M83 James Massiah Okay Kaya

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
IBAN DE05100100100921631121

Dankeschön!


NC-Shirts

Kontakt

Newsletter

Bücherstapel
Was für Lebewesen sind wir? (Noam Chomsky)

Der Tyrann: Shakespeares Machtkunde für das 21. Jahrhundert (Stephen Greenblatt)

Stan (John Connolly)

Die geheime Welt der Bauwerke (Roma Agrawal)

Verzeichnis einiger Verluste (Judith Schalansky)