KI-Anime singt KI-Songtexte zu KI-Musik in Echtzeit

Großartige Spielerei von Bhutan Thimphu, ein Mashup verschiedener Neural Networks, die zusammen einen neuen AI-Anime-Popstar erzeugen, der eigene künstliche Songs singt.

Dazu nimmt er Gwerns Waifu-Model, synchronisiert deren Lippenbewegungen zu Songtexten, die von GPT-2 generiert werden, deren Gesang wiederum im Rythmus von Mucke von Googles Kunst-KI Magenta erzeugt wird.

Tolles Spielzeug und möglicherweise die Ur-Form zukünftiger „echter“ virtueller Popstars, die weit über derzeitige Hologramme hinausgehen. Das Teil lässt Ashley Too aus Black Mirror Staffel 5 jedenfalls bereits jetzt alt aussehen und ist ein ganzes Level weiter, ihre Tracks stammen ja noch aus menschlichen Gehirnwellen und das die Bewegungen des Holograms wurde in der Folge mit Motion Capturing gesteuert. Und ehrlich? Der Track kann auch was.

Bhutan Thimphu: Waifu Synthesis – real time generative anime

All of the animation is made in real-time using a StyleGan neural network trained on the Danbooru2018 dataset, a large scale anime image database with 3.33m+ images annotated with 99.7m+ tags.

Lyrics were produced with GPT-2, a large scale language model trained on 40GB of internet text. I used the recently released 345 million parameter version- the full model has 1.5 billion parameters, and has currently not been released due to concerns about malicious use (think fake news).

Music was made in part using models from Magenta, a research project exploring the role of machine learning in the process of creating art and music.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Im Staub des Planeten: Der Horror der Philosophie mit Eugene Thacker

Neal Stephenson über Soziale Medien: „We’re actually living through the worst-case scenario right now“

[Klimalinks 19.7.2019] Eat the Rich; Weniger CO₂-Budget als gedacht; erstes #FridaysForFuture-Bußgeld zurückgezogen; Klimawandel beschleunigt Gentrifizierung

Musikvideos: Brittany Howard, Red Hearse, Deutsche Laichen, Dälek, Yeule, Grün Wasser, Twin Peaks, Ceremony, Blis, Molly Sarlé, Cherry Pickles, Little Scream, Shannon Lay, Sleater-Kinney, Jade Imagine, The Sonder Bombs, Speelburg, The Struts

Top Gun 2 – Trailer

1 Kommentare zu “KI-Anime singt KI-Songtexte zu KI-Musik in Echtzeit”

  1. Dieser Track wirkt auf mich verblüffend einlullend. Wie utopische Traummusik aus ‘ner Traumwelt die ich mal kannte. Wenn das ganze nun zusätzlich mit dem Rezipienten verbunden wäre, also die Stimmung der Musik sich an dessen emotionalem Erleben in Echtzeit orientierte, dann wäre das ja quasi die Möglichkeit zu einer ästhetisch ‘perfekten’ Musik. Da geht ein enormes Fass auf und mich würde echt interessieren was Adorno dazu alles eingefallen wäre.

Kommentare sind geschlossen.


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Was für Lebewesen sind wir? (Noam Chomsky)

Der Tyrann: Shakespeares Machtkunde für das 21. Jahrhundert (Stephen Greenblatt)

Stan (John Connolly)

Die geheime Welt der Bauwerke (Roma Agrawal)

Verzeichnis einiger Verluste (Judith Schalansky)