Deepfake aus einem einzigen Bild

Nächstes Level in „Deepfake“-Tech, ein Algorithmus, der nur noch eine handvoll Bilder für ein durchaus ansehnliches Ergebnis braucht. Der Algo kommt sogar mit einem einzigen Bild als Quelle klar, braucht dafür aber für seine sogenanntes „Meta-Learning“ entsprechend viel Videomaterial. Im Prinzip lernt das Modell Bewegungsabläufe aus einem großen Haufen Videos und zieht dann eine Textur drüber. Man kann sich eine Bibliothek aus Meta-Videos vorstellen (Talking Head, Guy running, Rightwing-Asshole ibizaing etc), für die man dann nur noch den „Protagonisten“ auswählen muss. Einmal Trump beim Koksen auf Youtube bitte und ab dafür.

Bislang mussten die Neural Networks mit tausenden von Bildern trainiert werden, weshalb man vor allem Fake von Prominenten sieht, von denen es entsprechend viel Bildmaterial gibt. Fake-Porn für alle, yay!

Die animierten Gemälde am Ende des Videos sind nochmal extracool und hier mein obligatorisches: Kiss your reality goodbye.

Paper: Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

Several recent works have shown how highly realistic human head images can be obtained by training convolutional neural networks to generate them. In order to create a personalized talking head model, these works require training on a large dataset of images of a single person. However, in many practical scenarios, such personalized talking head models need to be learned from a few image views of a person, potentially even a single image. Here, we present a system with such few-shot capability. It performs lengthy meta-learning on a large dataset of videos, and after that is able to frame few- and one-shot learning of neural talking head models of previously unseen people as adversarial training problems with high capacity generators and discriminators.

Crucially, the system is able to initialize the parameters of both the generator and the discriminator in a person-specific way, so that training can be based on just a few images and done quickly, despite the need to tune tens of millions of parameters. We show that such an approach is able to learn highly realistic and personalized talking head models of new people and even portrait paintings.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Gesichtsgeometrischer Style-Transfer

Die Fälschung als digitale Möglichkeit

Boards Of Canada WXAXRXP x Societas x Tape

Musikvideos: Skating Polly, Hot Chip, Juiceboxxx, Stereo Total, Boy Scouts

Eine geographische Karte des Mars

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Identität: Wie der Verlust der Würde unsere Demokratie gefährdet (Francis Fukuyama)

New York 2140 (Kim Stanley Robinson)

Das kulturelle Gedächtnis: Schrift, Erinnerung und politische Identität in frühen Hochkulturen (Jan Assmann)

Beschleunigung und Entfremdung: Entwurf einer kritischen Theorie spätmoderner Zeitlichkeit (Hartmut Rosa)

Die siebte Sprachfunktion (Laurent Binet)