Training von Neural Networks generiert bis zu 284 Tonnen CO2

Crypto-Währungen so: Unsere Crypto-Berechnungen auf GPUs pusten echt richtig viel CO2 in die Luft. Machine Learning-AIs so: Hold my beer.

Forscher haben den Energieverbrauch des Trainings von künstlichen Intelligenzen gemessen. Das Training eines einzigen Neural Network-Modells verbraucht im schlimmsten Fall (Googles Transformer-Übersetzungs-AI) bis zu 284 Tonnen CO2, das entspricht dem lebenslangen Energieverbrauch von 5 Autos.

Die Forscher trainierten bekannte Algorithmen wie GPT2 für einen Tag auf einem Grafikprozessor und maßen den Energieverbrauch, den sie dann mit den Zeitangaben in den Papers der AI-Wissenschaftler multiplizierten. Für AIs werden im Normalfall dutzende und hunderte Modelle trainiert, für ihre Test-AI trainierten die Forscher rund 5000 NN-Modelle.

MIT Tech Review: Training a single AI model can emit as much carbon as five cars in their lifetimes
Paper: Energy and Policy Considerations for Deep Learning in NLP

They found that the computational and environmental costs of training grew proportionally to model size and then exploded when additional tuning steps were used to increase the model’s final accuracy. In particular, they found that a tuning process known as neural architecture search, which tries to optimize a model by incrementally tweaking a neural network’s design through exhaustive trial and error, had extraordinarily high associated costs for little performance benefit. Without it, the most costly model, BERT, had a carbon footprint of roughly 1,400 pounds of carbon dioxide equivalent, close to a round-trip trans-America flight for one person.

What’s more, the researchers note that the figures should only be considered as baselines. “Training a single model is the minimum amount of work you can do,” says Emma Strubell, a PhD candidate at the University of Massachusetts, Amherst, and the lead author of the paper. In practice, it’s much more likely that AI researchers would develop a new model from scratch or adapt an existing model to a new data set, either of which can require many more rounds of training and tuning.

To get a better handle on what the full development pipeline might look like in terms of carbon footprint, Strubell and her colleagues used a model they’d produced in a previous paper as a case study. They found that the process of building and testing a final paper-worthy model required training 4,789 models over a six-month period. Converted to CO2 equivalent, it emitted more than 78,000 pounds and is likely representative of typical work in the field.

Nerdcore veröffentlicht seit mehr als 12 Jahren Analysen und Dokumentationen zu Memetik, Netz-Soziologie und digitalen Subkulturen, garniert mit jeder Menge Kunst, Entertainment und Unfug. Nerdcore prägte die deutsche Netzkultur maßgeblich, initiierte die erste deutsche Meme, ging Frau Merkel mit Flashmobs auf die Nerven und manche Menschen behaupten, ich würde ab und zu gute Arbeit abliefern.

Die Website ist seit 2017 werbefrei und wird aus Spenden und Abonnements finanziert. Um den Betrieb der Seite und meine Vollzeitstelle zu sichern, könnt ihr gerne ein Abonnement auf Patreon oder Steady abschließen oder mir eine einmalige Spende oder einen Dauerauftrag per Paypal oder auf mein Konto (IBAN DE05100100100921631121) zukommen lassen.

Vielen Dank an alle Leser und Unterstützer dieses Blogs.

Neu auf Nerdcore:

Gesichtsgeometrischer Style-Transfer

Die Fälschung als digitale Möglichkeit

Boards Of Canada WXAXRXP x Societas x Tape

Musikvideos: Skating Polly, Hot Chip, Juiceboxxx, Stereo Total, Boy Scouts

Eine geographische Karte des Mars

1 Kommentare zu “Training von Neural Networks generiert bis zu 284 Tonnen CO2”

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

  1. Sofort abschalten den Schwachsinn!! Es gibt nur ein wahres NN und das kommt ca.9 Monate nachm Ficken (außer bei Akademikern).


NC-Shirts

Jetzt Nerdcore unterstützen!


Patreon
Steady
Paypal
Donorbox
IBAN DE05100100100921631121

Dankeschön!

Kontakt

Newsletter

Bücherstapel
Was für Lebewesen sind wir? (Noam Chomsky)

Der Tyrann: Shakespeares Machtkunde für das 21. Jahrhundert (Stephen Greenblatt)

Stan (John Connolly)

Die geheime Welt der Bauwerke (Roma Agrawal)

Verzeichnis einiger Verluste (Judith Schalansky)