Manga-Selfies mit Anime Image Translation

Neuer, sehr beeindruckender Algorithmus für Image Translation, einer Art Style Transfer für Objekte, mit dem man zum Beispiel Pferde in Zebras oder Katzen in Hunde (vgl. Petswap) verwandeln kann – oder Leute in Anime-Character.

Es gab vorher bereits Algorithmen, die gute Image Translation-Ergebnisse erzeugte, dieser Algorithmus allerdings ist zumindest für Anime der erste, der produktionsreife Ergebnisse erzeugt. Ich schätze mal, in den nächsten Wochen und Monaten dürften jede Menge Selfie2Anime-Apps aufpoppen, hier der Code auf Github.

Paper: U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
Github: U-GAT-IT — Official TensorFlow Implementation

Abstract: We propose a novel method for unsupervised image-to-image translation, which incorporates a new attention module and a new learnable normalization function in an end-to-end manner. The attention module guides our model to focus on more important regions distinguishing between source and target domains based on the attention map obtained by the auxiliary classifier.

Unlike previous attention-based methods which cannot handle the geometric changes between domains, our model can translate both images requiring holistic changes and images requiring large shape changes. Moreover, our new AdaLIN (Adaptive Layer-Instance Normalization) function helps our attention-guided model to flexibly control the amount of change in shape and texture by learned parameters depending on datasets. Experimental results show the superiority of the proposed method compared to the existing state-of-the-art models with a fixed network architecture and hyper-parameters.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

r/Nerdcore_de

James Brown x Motörhead

[Musikvideos] Haru Nemuri / Black Dresses / VTSS / Eyes Without A Face / Chromatics / Laima / Avril Spleen / All We Are / Kidbug / The Chats / The Weeknd

[Musikvideos] Bonnie ‘Prince’ Billy / Lightning Bug / Hayley Williams / Cam Cole / Porridge Radio / Ohmme / Swamp Dogg / Mav Karlo / Hazel English

Cartoon Skulls

[Musikvideos] Empress Of / Ed Schraders Music Beat / RMR / JARV IS… / Metal Preyers / Giraffage / EMIT / Capibara / Who Boy