Neuer Algorithmus für AI-Image-Compositing

Nvidia hat einen neuen Algorithmus für künstliche Bilderzeugung entwickelt, in dem man mit anotierten Bild-Segmentierungen alle möglichen Fotos generieren kann. „Anotierte Bild-Segmentierung“ heisst: Ich mal ein blaues Rechteck unten hin und sage „das ist Wasser“ und male ein hellblaues Rechteck obendrüber und sage „das ist Himmel“ und male einen gelben Kreis in die Mitte und sage: „das ist Sonne“ und der Algorithmus erzeugt mir ein realistisches Foto eines Sonnenuntergangs über dem Meer.

(Neural Networks lernen übrigens umgekehrt: Über anotierte und segmentierte Bilder, die übrigens meistens von Menschenhand per Amazon Mechanical Turk sortiert und anotiert werden, nur mal so am Rande [wobei auch dafür bereits Automatismen entwickelt werden]. Deshalb „weiß“ die A.I. von Nvidia auch, dass ein blauer Kasten mit „Wasser“ sowas wie „Meer“ bedeutet – irgendjemand hat irgendwann mal ein Bild von einem Meer genommen und in eine Datenbank geschrieben: „Dieser Teil des Bilder ist Wasser, und dieser Teil ist Himmel“.)

Jedenfalls: Die Technologie macht Fortschritte, Nvidia hat sie nochmal auf ein neues Level gehoben und AI-basiertes Image-Compositing dürfte in circa der nächsten Iteration auf Produktionsniveau ankommen. Noch ein paar Arbeitsplätze weniger in Designagenturen.

Paper: Semantic Image Synthesis with Spatially-Adaptive Normalization
Github: https://nvlabs.github.io/SPADE/

Abstract
We propose spatially-adaptive normalization, a simple but effective layer for synthesizing photorealistic images given an input semantic layout. Previous methods directly feed the semantic layout as input to the network, which is then processed through stacks of convolution, normalization, and nonlinearity layers. We show that this is suboptimal because the normalization layers tend to wash away semantic information. To address the issue, we propose using the input layout for modulating the activations in normalization layers through a spatially-adaptive, learned transformation. Experiments on several challenging datasets demonstrate the advantage of the proposed method compared to existing approaches, regarding both visual fidelity and alignment with input layouts. Finally, our model allows users to easily control the style and content of synthesis results as well as create multi-modal results.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

Goldene Toilette gestolen

Musikvideos: Kinderzimmer Productions, Clipping, Kim Gordon, M83, Metronomy, Holly Herndon, Devendra Banhart, Ätna

Watchmen – Neuer Trailer zur HBO-Serie

Das neue schwärzeste Schwarz ist zehnmal schwärzer das ehemalige schwärzeste Scharz

[Klimalinks 13.9.2019] Climate Revolt in London und Hamburg; Weißes Haus übt Druck auf UN-Migrationsbehörde aus; Airport Heathrow signaljams Climate Activists; Optopia Solarpunk Zine

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
IBAN DE05100100100921631121

Dankeschön!


NC-Shirts

Kontakt

Newsletter

Bücherstapel
Was für Lebewesen sind wir? (Noam Chomsky)

Der Tyrann: Shakespeares Machtkunde für das 21. Jahrhundert (Stephen Greenblatt)

Stan (John Connolly)

Die geheime Welt der Bauwerke (Roma Agrawal)

Verzeichnis einiger Verluste (Judith Schalansky)