Speech 2 Face: Konstruktion von Gesichtern aus Stimmen

Gruseliges neues Paper: Speech2Face: Learning the Face Behind a Voice, da lernt ein Neural Network Gesichtsassoziationen nach Stimmen und kann schließlich Gesichter nach Sprachaufnahmen konstruieren. Funktioniert im Detail eher so mittel, wiedererkennen könnte man die Leute nicht, aber der Algorithmus sortiert die Sprachaufnahmen auffallend gut nach Hautfarbe, Geschlecht und Alter.

How much can we infer about a person’s looks from the way they speak? In this paper, we study the task of reconstructing a facial image of a person from a short audio recording of that person speaking. We design and train a deep neural network to perform this task using millions of natural Internet/YouTube videos of people speaking. During training, our model learns voice-face correlations that allow it to produce images that capture various physical attributes of the speakers such as age, gender and ethnicity. This is done in a self-supervised manner, by utilizing the natural co-occurrence of faces and speech in Internet videos, without the need to model attributes explicitly. We evaluate and numerically quantify how–and in what manner–our Speech2Face reconstructions, obtained directly from audio, resemble the true face images of the speakers.

China setzt jetzt bereits AI-Gesichtserkennung zur Verfolgung von muslimischen Minderheiten ein und sind in der Anwendung großflächiger Überwachungsmaßnahmen natürlich Vorreiter. Ein solcher Algorithmus könnte für die chinesischen Behörden wahrscheinlich die Uiguren im Telefonnetz identifizieren, selbst wenn sie mit Geräten oder Nummern telefonieren, die nicht ihnen gehören.

Gesichter aus Stimmen zu rekonstruieren hört sich zunächst lustig an, aber die AI-gestützte Kategorisierung von Menschenmassen anhand digitaler ID-Snippets (wie eben Stimme, oder Foto, oder Videoclip, oder auch Schreibstil wie bereits geschehen) kristallisiert sich immer mehr als Technologie der Massenüberwachung heraus. Spielereien sollten nicht darüber hinwegtäuschen, dass diese Technologien das Zeug haben, eine Dystopie auf die Beine zu stellen, gegen die sich die orwellsche Überwachung durch echte Menschen wie ein Kindergeburtstag ausnimmt.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Im Staub des Planeten: Der Horror der Philosophie mit Eugene Thacker

Neal Stephenson über Soziale Medien: „We’re actually living through the worst-case scenario right now“

[Klimalinks 19.7.2019] Eat the Rich; Weniger CO₂-Budget als gedacht; erstes #FridaysForFuture-Bußgeld zurückgezogen; Klimawandel beschleunigt Gentrifizierung

Musikvideos: Brittany Howard, Red Hearse, Deutsche Laichen, Dälek, Yeule, Grün Wasser, Twin Peaks, Ceremony, Blis, Molly Sarlé, Cherry Pickles, Little Scream, Shannon Lay, Sleater-Kinney, Jade Imagine, The Sonder Bombs, Speelburg, The Struts

Top Gun 2 – Trailer


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Was für Lebewesen sind wir? (Noam Chomsky)

Der Tyrann: Shakespeares Machtkunde für das 21. Jahrhundert (Stephen Greenblatt)

Stan (John Connolly)

Die geheime Welt der Bauwerke (Roma Agrawal)

Verzeichnis einiger Verluste (Judith Schalansky)