Training von Neural Networks generiert bis zu 284 Tonnen CO2

Crypto-Währungen so: Unsere Crypto-Berechnungen auf GPUs pusten echt richtig viel CO2 in die Luft. Machine Learning-AIs so: Hold my beer.

Forscher haben den Energieverbrauch des Trainings von künstlichen Intelligenzen gemessen. Das Training eines einzigen Neural Network-Modells verbraucht im schlimmsten Fall (Googles Transformer-Übersetzungs-AI) bis zu 284 Tonnen CO2, das entspricht dem lebenslangen Energieverbrauch von 5 Autos.

Die Forscher trainierten bekannte Algorithmen wie GPT2 für einen Tag auf einem Grafikprozessor und maßen den Energieverbrauch, den sie dann mit den Zeitangaben in den Papers der AI-Wissenschaftler multiplizierten. Für AIs werden im Normalfall dutzende und hunderte Modelle trainiert, für ihre Test-AI trainierten die Forscher rund 5000 NN-Modelle.

MIT Tech Review: Training a single AI model can emit as much carbon as five cars in their lifetimes
Paper: Energy and Policy Considerations for Deep Learning in NLP

They found that the computational and environmental costs of training grew proportionally to model size and then exploded when additional tuning steps were used to increase the model’s final accuracy. In particular, they found that a tuning process known as neural architecture search, which tries to optimize a model by incrementally tweaking a neural network’s design through exhaustive trial and error, had extraordinarily high associated costs for little performance benefit. Without it, the most costly model, BERT, had a carbon footprint of roughly 1,400 pounds of carbon dioxide equivalent, close to a round-trip trans-America flight for one person.

What’s more, the researchers note that the figures should only be considered as baselines. “Training a single model is the minimum amount of work you can do,” says Emma Strubell, a PhD candidate at the University of Massachusetts, Amherst, and the lead author of the paper. In practice, it’s much more likely that AI researchers would develop a new model from scratch or adapt an existing model to a new data set, either of which can require many more rounds of training and tuning.

To get a better handle on what the full development pipeline might look like in terms of carbon footprint, Strubell and her colleagues used a model they’d produced in a previous paper as a case study. They found that the process of building and testing a final paper-worthy model required training 4,789 models over a six-month period. Converted to CO2 equivalent, it emitted more than 78,000 pounds and is likely representative of typical work in the field.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

Trailerfest: Greener Gras, The Sound of Silence, Ad Astra, Bombshell, Villains, The Report, The Siren

Plastic Rocks

[Klimalinks 22.8.2019] Bernie Sanders’ 16 Billionen US$-Klimaplan; Pflanze blüht zum ersten mal seit 60 Millionen Jahren; Immobilien mit hohem Klimarisiko nicht versicherbar

Bolsanero will nur jeden zweiten Tag kacken (für die Umwelt)

Musikvideos: Deichkind, Shi Offline, Kim Gordon, Metz, Loud Hound, The Menzingers, Zonal, Men I Trust

1 Kommentare zu “Training von Neural Networks generiert bis zu 284 Tonnen CO2”

  1. Sofort abschalten den Schwachsinn!! Es gibt nur ein wahres NN und das kommt ca.9 Monate nachm Ficken (außer bei Akademikern).

Kommentare sind geschlossen.


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Identität: Wie der Verlust der Würde unsere Demokratie gefährdet (Francis Fukuyama)

New York 2140 (Kim Stanley Robinson)

Das kulturelle Gedächtnis: Schrift, Erinnerung und politische Identität in frühen Hochkulturen (Jan Assmann)

Beschleunigung und Entfremdung: Entwurf einer kritischen Theorie spätmoderner Zeitlichkeit (Hartmut Rosa)

Die siebte Sprachfunktion (Laurent Binet)