Adobes AI-Detektor für gephotoshopte Gesichter

Adobe hat ein AI-Tool entwickelt, mit dem sich gephotoshopte Gesichter erkennen lassen, das Tool funktioniert allerdings nur sehr eingeschränkt und erkennt lediglich Bilder, die mit Photoshops Face Aware Liquify bearbeitet wurden. Dazu haben sie eine Machine Learning Algorithmus auf die typischen Verzerrungen, Artefakte und Muster trainiert, die dieser Filter in den Bildern hinterlässt.

Futurezone: KI erkennt, ob Gesichter gephotoshopt wurden
Adobe Research and UC Berkeley: Detecting Facial Manipulations in Adobe Photoshop
Paper: Detecting Photoshopped Faces by Scripting Photoshop

Most malicious photo manipulations are created using standard image editing tools, such as Adobe Photoshop. We present a method for detecting one very popular Photoshop manipulation — image warping applied to human faces — using a model trained entirely using fake images that were automatically generated by scripting Photoshop itself. We show that our model outperforms humans at the task of recognizing manipulated images, can predict the specific location of edits, and in some cases can be used to “undo” a manipulation to reconstruct the original, unedited image. We demonstrate that the system can be successfully applied to real, artist-created image manipulations.

Ich wundere mich grade, dass digitale Bild-Forensik hier noch nicht weiter ist und warum dieses Tool nun durch die Medien geht. Es ist für Adobe ein leichtes, dieses Tool herzustellen, immerhin haben sie selbst den Filter entwickelt – dieser Machine Learning-Algo ist „nur“ Sort-Of-Backwards-Engineering, die haben hier nur ein Neural Network auf die Artefakte eines hauseigenen Algos trainiert.

Um das mal zu veranschaulichen: Es gibt in Photoshop den bekannten Wirbel-Effekt, den jeder schonmal gesehen hat. Um diesen Wirbel nun zu erkennen, programmiere ich einfach einen Anti-Wirbel und das kann ich am besten tun, wenn ich den Original Wirbel-Algorithmus kenne. Deshalb halte ich diese AI weder für clever noch erstaunlich oder bemerkenswert und wundere mich eben, dass die Bild-Forensik hier noch nicht weiter ist. Auch die Methodik des Data-Scraping ist zur Entwicklung eines solchen ML-Modells suboptimal: Die haben ihre Bilder aus dem Open Images-Dataset mit „human face“-Label zusammengestellt, das wiederum aus Bildern von Flickr besteht. Adobe hat keine Ahnung, ob diese Bilder nicht bereits vorher bearbeitet und gephotoshopt waren, was das Ergebnis ihres Algos in jedem Fall verfälscht. Für eine echte, wirksame Methode müssten sie die Bilder selbst fotografieren, um sicherzustellen, dass ihr Algo auf den puren Artefakten der Effekte trainiert wird, und nicht auf die Spuren eines Photoshop-Effekts, der auf Artefakte eines Photoshop-Effekts angewendet wurde.

Trotzdem netter Versuch und die Bemühungen zur „Demokratisierung von Foto-Forensik“ ist nett gemeint, aber ich halte das Paper dennoch für zu spezifisch (nur auf einen einzigen Effekt anwendbar) und die Datenquelle für suboptimal.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Im Staub des Planeten: Der Horror der Philosophie mit Eugene Thacker

Neal Stephenson über Soziale Medien: „We’re actually living through the worst-case scenario right now“

[Klimalinks 19.7.2019] Eat the Rich; Weniger CO₂-Budget als gedacht; erstes #FridaysForFuture-Bußgeld zurückgezogen; Klimawandel beschleunigt Gentrifizierung

Musikvideos: Brittany Howard, Red Hearse, Deutsche Laichen, Dälek, Yeule, Grün Wasser, Twin Peaks, Ceremony, Blis, Molly Sarlé, Cherry Pickles, Little Scream, Shannon Lay, Sleater-Kinney, Jade Imagine, The Sonder Bombs, Speelburg, The Struts

Top Gun 2 – Trailer


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Identität: Wie der Verlust der Würde unsere Demokratie gefährdet (Francis Fukuyama)

New York 2140 (Kim Stanley Robinson)

Das kulturelle Gedächtnis: Schrift, Erinnerung und politische Identität in frühen Hochkulturen (Jan Assmann)

Beschleunigung und Entfremdung: Entwurf einer kritischen Theorie spätmoderner Zeitlichkeit (Hartmut Rosa)

Die siebte Sprachfunktion (Laurent Binet)