Vid2Game: Kontrollierbare Game-Character aus Videos

Neuer Algorithmus, der Game-Character aus Videos extrahiert und mit Controller spielbar macht, in diesem Fall hier für ein Tennis-Game, ist aber auch für jedes RPG so denkbar.

Paper: Vid2Game: Controllable Characters Extracted from Real-World Videos

We are given a video of a person performing a certain activity, from which we extract a controllable model. The model generates novel image sequences of that person, according to arbitrary user-defined control signals, typically marking the displacement of the moving body. The generated video can have an arbitrary background, and effectively capture both the dynamics and appearance of the person.

The method is based on two networks. The first network maps a current pose, and a single-instance control signal to the next pose. The second network maps the current pose, the new pose, and a given background, to an output frame. Both networks include multiple novelties that enable high-quality performance. This is demonstrated on multiple characters extracted from various videos of dancers and athletes.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

The Lumineers’ neues Album als Kurzfilm in zehn Musikvideos

Buch-Cover alter SciFi-Klassiker: The Illustrated Man, Metropolis, I Robot, Bodysnatchers, A Scanner Darkly

Evoboxx: Game of Life-Synthesizer

[Klimalinks 21.9.2019] Global Climate Strike; Klimapaket der Bundesregierung: Too little, too late; Google/Amazons Klima-Pläne

Musikvideos_Anyway Gang Planet B Comet Gain Rosegarden Funeral Party Vivian Girls Lou Rebecca Chromatics The New Pornographers M83 James Massiah Okay Kaya

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
IBAN DE05100100100921631121

Dankeschön!


NC-Shirts

Kontakt

Newsletter

Bücherstapel
Was für Lebewesen sind wir? (Noam Chomsky)

Der Tyrann: Shakespeares Machtkunde für das 21. Jahrhundert (Stephen Greenblatt)

Stan (John Connolly)

Die geheime Welt der Bauwerke (Roma Agrawal)

Verzeichnis einiger Verluste (Judith Schalansky)