KI-Anime singt KI-Songtexte zu KI-Musik in Echtzeit

Großartige Spielerei von Bhutan Thimphu, ein Mashup verschiedener Neural Networks, die zusammen einen neuen AI-Anime-Popstar erzeugen, der eigene künstliche Songs singt.

Dazu nimmt er Gwerns Waifu-Model, synchronisiert deren Lippenbewegungen zu Songtexten, die von GPT-2 generiert werden, deren Gesang wiederum im Rythmus von Mucke von Googles Kunst-KI Magenta erzeugt wird.

Tolles Spielzeug und möglicherweise die Ur-Form zukünftiger „echter“ virtueller Popstars, die weit über derzeitige Hologramme hinausgehen. Das Teil lässt Ashley Too aus Black Mirror Staffel 5 jedenfalls bereits jetzt alt aussehen und ist ein ganzes Level weiter, ihre Tracks stammen ja noch aus menschlichen Gehirnwellen und das die Bewegungen des Holograms wurde in der Folge mit Motion Capturing gesteuert. Und ehrlich? Der Track kann auch was.

Bhutan Thimphu: Waifu Synthesis – real time generative anime

All of the animation is made in real-time using a StyleGan neural network trained on the Danbooru2018 dataset, a large scale anime image database with 3.33m+ images annotated with 99.7m+ tags.

Lyrics were produced with GPT-2, a large scale language model trained on 40GB of internet text. I used the recently released 345 million parameter version- the full model has 1.5 billion parameters, and has currently not been released due to concerns about malicious use (think fake news).

Music was made in part using models from Magenta, a research project exploring the role of machine learning in the process of creating art and music.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

r/Nerdcore_de

James Brown x Motörhead

[Musikvideos] Haru Nemuri / Black Dresses / VTSS / Eyes Without A Face / Chromatics / Laima / Avril Spleen / All We Are / Kidbug / The Chats / The Weeknd

[Musikvideos] Bonnie ‘Prince’ Billy / Lightning Bug / Hayley Williams / Cam Cole / Porridge Radio / Ohmme / Swamp Dogg / Mav Karlo / Hazel English

Cartoon Skulls

[Musikvideos] Empress Of / Ed Schraders Music Beat / RMR / JARV IS… / Metal Preyers / Giraffage / EMIT / Capibara / Who Boy