Speech 2 Face: Konstruktion von Gesichtern aus Stimmen

Gruseliges neues Paper: Speech2Face: Learning the Face Behind a Voice, da lernt ein Neural Network Gesichtsassoziationen nach Stimmen und kann schließlich Gesichter nach Sprachaufnahmen konstruieren. Funktioniert im Detail eher so mittel, wiedererkennen könnte man die Leute nicht, aber der Algorithmus sortiert die Sprachaufnahmen auffallend gut nach Hautfarbe, Geschlecht und Alter.

How much can we infer about a person’s looks from the way they speak? In this paper, we study the task of reconstructing a facial image of a person from a short audio recording of that person speaking. We design and train a deep neural network to perform this task using millions of natural Internet/YouTube videos of people speaking. During training, our model learns voice-face correlations that allow it to produce images that capture various physical attributes of the speakers such as age, gender and ethnicity. This is done in a self-supervised manner, by utilizing the natural co-occurrence of faces and speech in Internet videos, without the need to model attributes explicitly. We evaluate and numerically quantify how–and in what manner–our Speech2Face reconstructions, obtained directly from audio, resemble the true face images of the speakers.

China setzt jetzt bereits AI-Gesichtserkennung zur Verfolgung von muslimischen Minderheiten ein und sind in der Anwendung großflächiger Überwachungsmaßnahmen natürlich Vorreiter. Ein solcher Algorithmus könnte für die chinesischen Behörden wahrscheinlich die Uiguren im Telefonnetz identifizieren, selbst wenn sie mit Geräten oder Nummern telefonieren, die nicht ihnen gehören.

Gesichter aus Stimmen zu rekonstruieren hört sich zunächst lustig an, aber die AI-gestützte Kategorisierung von Menschenmassen anhand digitaler ID-Snippets (wie eben Stimme, oder Foto, oder Videoclip, oder auch Schreibstil wie bereits geschehen) kristallisiert sich immer mehr als Technologie der Massenüberwachung heraus. Spielereien sollten nicht darüber hinwegtäuschen, dass diese Technologien das Zeug haben, eine Dystopie auf die Beine zu stellen, gegen die sich die orwellsche Überwachung durch echte Menschen wie ein Kindergeburtstag ausnimmt.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

Musicvideos_Amyl and the Sniffers Klangstof Algiers

The Muppets in Fear and Loathing in Las Vegas

The Internet of Beefs: Eine Konflikttheorie der Multiplayer Online Battle Arena formerly known as The Web

Musicvideos_Dan Deacon Okay Kaya The Homesick Too Free LA Priest Michel van der Aa Son Little Lauren Auder Real Estate Fighter

Musicvideos_Bombay Bicycle Club Ultraísta Anna Burch Tennis Khruangbin & Leon Bridges Andy Shauf US Girls Nathaniel Rateliff Devon Gilfillian Gareth JS Thomas