Training von Neural Networks generiert bis zu 284 Tonnen CO2

Crypto-Währungen so: Unsere Crypto-Berechnungen auf GPUs pusten echt richtig viel CO2 in die Luft. Machine Learning-AIs so: Hold my beer.

Forscher haben den Energieverbrauch des Trainings von künstlichen Intelligenzen gemessen. Das Training eines einzigen Neural Network-Modells verbraucht im schlimmsten Fall (Googles Transformer-Übersetzungs-AI) bis zu 284 Tonnen CO2, das entspricht dem lebenslangen Energieverbrauch von 5 Autos.

Die Forscher trainierten bekannte Algorithmen wie GPT2 für einen Tag auf einem Grafikprozessor und maßen den Energieverbrauch, den sie dann mit den Zeitangaben in den Papers der AI-Wissenschaftler multiplizierten. Für AIs werden im Normalfall dutzende und hunderte Modelle trainiert, für ihre Test-AI trainierten die Forscher rund 5000 NN-Modelle.

MIT Tech Review: Training a single AI model can emit as much carbon as five cars in their lifetimes
Paper: Energy and Policy Considerations for Deep Learning in NLP

They found that the computational and environmental costs of training grew proportionally to model size and then exploded when additional tuning steps were used to increase the model’s final accuracy. In particular, they found that a tuning process known as neural architecture search, which tries to optimize a model by incrementally tweaking a neural network’s design through exhaustive trial and error, had extraordinarily high associated costs for little performance benefit. Without it, the most costly model, BERT, had a carbon footprint of roughly 1,400 pounds of carbon dioxide equivalent, close to a round-trip trans-America flight for one person.

What’s more, the researchers note that the figures should only be considered as baselines. “Training a single model is the minimum amount of work you can do,” says Emma Strubell, a PhD candidate at the University of Massachusetts, Amherst, and the lead author of the paper. In practice, it’s much more likely that AI researchers would develop a new model from scratch or adapt an existing model to a new data set, either of which can require many more rounds of training and tuning.

To get a better handle on what the full development pipeline might look like in terms of carbon footprint, Strubell and her colleagues used a model they’d produced in a previous paper as a case study. They found that the process of building and testing a final paper-worthy model required training 4,789 models over a six-month period. Converted to CO2 equivalent, it emitted more than 78,000 pounds and is likely representative of typical work in the field.

Jetzt Nerdcore unterstützen!

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Nerdcore auf Twitter

I’m seeing something that was always hidden. I’m in the middle of a mystery and it’s all secret.

Social Justice Kittens 2020

Experimente in automatisierter Schriftgestaltung

[Klimalinks 12.10.2019] Extra Horny Tarantulas; Shell hat „keine Wahl“ als Öl-Investitionen; Bank of England: Investmentfirmen finanzieren 4° Erderwärmung

Musikvideos_Kim Gordon Konradsen Julien Baker The Drums Slaves Moon Diagrams Pond Fran Strawberry Guy Andre Ethier OVE The Great Beyond Knife Knights Brigitte Bardon’t

1 Kommentare zu “Training von Neural Networks generiert bis zu 284 Tonnen CO2”

  1. Sofort abschalten den Schwachsinn!! Es gibt nur ein wahres NN und das kommt ca.9 Monate nachm Ficken (außer bei Akademikern).

Kommentare sind geschlossen.

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
IBAN DE05100100100921631121

Dankeschön!


NC-Shirts

Kontakt

Newsletter

Bücherstapel
Böses Denken (Bettina Stangneth)

Fireman (Joe Hill)

Eine Naturgeschichte der menschlichen Moral (Michael Tomasello)

Spielball der Hexen (1976), Vampir Horror-Roman Taschenbuch 41

Synchron: vom rätselhaften Rhythmus der Natus (Steven Strogatz)