Manga-Selfies mit Anime Image Translation

Neuer, sehr beeindruckender Algorithmus für Image Translation, einer Art Style Transfer für Objekte, mit dem man zum Beispiel Pferde in Zebras oder Katzen in Hunde (vgl. Petswap) verwandeln kann – oder Leute in Anime-Character.

Es gab vorher bereits Algorithmen, die gute Image Translation-Ergebnisse erzeugte, dieser Algorithmus allerdings ist zumindest für Anime der erste, der produktionsreife Ergebnisse erzeugt. Ich schätze mal, in den nächsten Wochen und Monaten dürften jede Menge Selfie2Anime-Apps aufpoppen, hier der Code auf Github.

Paper: U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
Github: U-GAT-IT — Official TensorFlow Implementation

Abstract: We propose a novel method for unsupervised image-to-image translation, which incorporates a new attention module and a new learnable normalization function in an end-to-end manner. The attention module guides our model to focus on more important regions distinguishing between source and target domains based on the attention map obtained by the auxiliary classifier.

Unlike previous attention-based methods which cannot handle the geometric changes between domains, our model can translate both images requiring holistic changes and images requiring large shape changes. Moreover, our new AdaLIN (Adaptive Layer-Instance Normalization) function helps our attention-guided model to flexibly control the amount of change in shape and texture by learned parameters depending on datasets. Experimental results show the superiority of the proposed method compared to the existing state-of-the-art models with a fixed network architecture and hyper-parameters.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

Siggraph 2019: Frisch gebackenes Brot, Algo-Würfelköpfe, realistische CGI-Pasta und Style Transfer für Rauch

Musikvideos_Dan Deacon Algiers Panda Bear Neon Indian Wiki Japan Man Vegyn Vogue Dots Moses Sumney Oh Baby

Musikvideos_The Breeders Metronomy Thom Yorke Tennis Glass Beach BIB Big Bite Dogleg Ratboys Haunted Horses Drakulas Exotic Adrian Street and the Pile Drivers …And You Will Know Us By The Trail Of Dead

The SpongeBob Movietrailer

GPT-2 trainiert auf SVG-XML erzeugt AI-Fonts und seltsame Emoji

Kontakt

Newsletter

Bücherstapel
Böses Denken (Bettina Stangneth)

Fireman (Joe Hill)

Eine Naturgeschichte der menschlichen Moral (Michael Tomasello)

Spielball der Hexen (1976), Vampir Horror-Roman Taschenbuch 41

Synchron: vom rätselhaften Rhythmus der Natus (Steven Strogatz)