Manga-Selfies mit Anime Image Translation

Neuer, sehr beeindruckender Algorithmus für Image Translation, einer Art Style Transfer für Objekte, mit dem man zum Beispiel Pferde in Zebras oder Katzen in Hunde (vgl. Petswap) verwandeln kann – oder Leute in Anime-Character.

Es gab vorher bereits Algorithmen, die gute Image Translation-Ergebnisse erzeugte, dieser Algorithmus allerdings ist zumindest für Anime der erste, der produktionsreife Ergebnisse erzeugt. Ich schätze mal, in den nächsten Wochen und Monaten dürften jede Menge Selfie2Anime-Apps aufpoppen, hier der Code auf Github.

Paper: U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
Github: U-GAT-IT — Official TensorFlow Implementation

Abstract: We propose a novel method for unsupervised image-to-image translation, which incorporates a new attention module and a new learnable normalization function in an end-to-end manner. The attention module guides our model to focus on more important regions distinguishing between source and target domains based on the attention map obtained by the auxiliary classifier.

Unlike previous attention-based methods which cannot handle the geometric changes between domains, our model can translate both images requiring holistic changes and images requiring large shape changes. Moreover, our new AdaLIN (Adaptive Layer-Instance Normalization) function helps our attention-guided model to flexibly control the amount of change in shape and texture by learned parameters depending on datasets. Experimental results show the superiority of the proposed method compared to the existing state-of-the-art models with a fixed network architecture and hyper-parameters.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

Jetzt Nerdcore unterstützen!

Editierfähige Muster

Lovers in China with digital Protest-Screen

Erster Teaser zum Breaking Bad-Film El Camino

NASA untersucht den ersten Kriminalfall im Weltraum


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Was für Lebewesen sind wir? (Noam Chomsky)

Der Tyrann: Shakespeares Machtkunde für das 21. Jahrhundert (Stephen Greenblatt)

Stan (John Connolly)

Die geheime Welt der Bauwerke (Roma Agrawal)

Verzeichnis einiger Verluste (Judith Schalansky)