Neuer Algorithmus für AI-Image-Compositing

Nvidia hat einen neuen Algorithmus für künstliche Bilderzeugung entwickelt, in dem man mit anotierten Bild-Segmentierungen alle möglichen Fotos generieren kann. „Anotierte Bild-Segmentierung“ heisst: Ich mal ein blaues Rechteck unten hin und sage „das ist Wasser“ und male ein hellblaues Rechteck obendrüber und sage „das ist Himmel“ und male einen gelben Kreis in die Mitte und sage: „das ist Sonne“ und der Algorithmus erzeugt mir ein realistisches Foto eines Sonnenuntergangs über dem Meer.

(Neural Networks lernen übrigens umgekehrt: Über anotierte und segmentierte Bilder, die übrigens meistens von Menschenhand per Amazon Mechanical Turk sortiert und anotiert werden, nur mal so am Rande [wobei auch dafür bereits Automatismen entwickelt werden]. Deshalb „weiß“ die A.I. von Nvidia auch, dass ein blauer Kasten mit „Wasser“ sowas wie „Meer“ bedeutet – irgendjemand hat irgendwann mal ein Bild von einem Meer genommen und in eine Datenbank geschrieben: „Dieser Teil des Bilder ist Wasser, und dieser Teil ist Himmel“.)

Jedenfalls: Die Technologie macht Fortschritte, Nvidia hat sie nochmal auf ein neues Level gehoben und AI-basiertes Image-Compositing dürfte in circa der nächsten Iteration auf Produktionsniveau ankommen. Noch ein paar Arbeitsplätze weniger in Designagenturen.

Paper: Semantic Image Synthesis with Spatially-Adaptive Normalization
Github: https://nvlabs.github.io/SPADE/

Abstract
We propose spatially-adaptive normalization, a simple but effective layer for synthesizing photorealistic images given an input semantic layout. Previous methods directly feed the semantic layout as input to the network, which is then processed through stacks of convolution, normalization, and nonlinearity layers. We show that this is suboptimal because the normalization layers tend to wash away semantic information. To address the issue, we propose using the input layout for modulating the activations in normalization layers through a spatially-adaptive, learned transformation. Experiments on several challenging datasets demonstrate the advantage of the proposed method compared to existing approaches, regarding both visual fidelity and alignment with input layouts. Finally, our model allows users to easily control the style and content of synthesis results as well as create multi-modal results.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Im Staub des Planeten: Der Horror der Philosophie mit Eugene Thacker

Neal Stephenson über Soziale Medien: „We’re actually living through the worst-case scenario right now“

[Klimalinks 19.7.2019] Eat the Rich; Weniger CO₂-Budget als gedacht; erstes #FridaysForFuture-Bußgeld zurückgezogen; Klimawandel beschleunigt Gentrifizierung

Musikvideos: Brittany Howard, Red Hearse, Deutsche Laichen, Dälek, Yeule, Grün Wasser, Twin Peaks, Ceremony, Blis, Molly Sarlé, Cherry Pickles, Little Scream, Shannon Lay, Sleater-Kinney, Jade Imagine, The Sonder Bombs, Speelburg, The Struts

Top Gun 2 – Trailer


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Identität: Wie der Verlust der Würde unsere Demokratie gefährdet (Francis Fukuyama)

New York 2140 (Kim Stanley Robinson)

Das kulturelle Gedächtnis: Schrift, Erinnerung und politische Identität in frühen Hochkulturen (Jan Assmann)

Beschleunigung und Entfremdung: Entwurf einer kritischen Theorie spätmoderner Zeitlichkeit (Hartmut Rosa)

Die siebte Sprachfunktion (Laurent Binet)