Wie Stochastische Thermodynamik unser Verständnis von Energieflüssen in Computern revolutioniert

[Wien, 30.10.2024] Jeder Rechenprozess in jedem Computer, in jedem Rechenzentrum und in jedem Server benötigt Energie. Weltweit ist der Stromverbrauch für die Informationstechnologie – von einzelnen Mobiltelefonen über Bitcoin-Mining bis hin zu großen KI-Modellen – in den letzten Jahrzehnten enorm gestiegen. Bereits 2018 lag er mit 6-10% des Gesamtenergieverbrauchs über dem Energieverbrauch des Flugverkehrs. „Mit rechenintensiven Technologien wie ChatGPT und anderen KI-Anwendungen nimmt der Energiebedarf immer weiter zu“, sagt Jan Korbel, Wissenschafter am Complexity Science Hub.

Ein Teil dieser zur Informationsverarbeitung benötigten Energie wird unweigerlich von jedem System als Wärme abgegeben und geht damit verloren. Doch wie groß ist dieser Anteil? Nutzen Computer den Strom bereits sehr effizient oder gibt es noch viel Optimierungspotenzial? Und wie hängt das von der Art der Berechnung ab? Könnten wir mit effizienteren Systemen einen wesentlichen Beitrag zum Klimaschutz leisten?

Das zu ermitteln, also zu verstehen, wie und wie effizient Energie in einem Informationsverarbeitungssystem umgewandelt und weitergegeben wird, versuchen Physiker:innen und Informatiker:innen schon seit mehr als einem Jahrhundert. Es geht vor allem um jenen fundamentalen Anteil, der nicht unterschritten werden kann und der in jedem Fall als Wärme abgegeben wird. Doch lange Zeit fehlten dazu die mathematischen Möglichkeiten.

Mit dem Aufkommen eines ganz neuen Feldes – der stochastischen Thermodynamik – änderte sich das, wie die internationale Gruppe von Forschenden im Perspective in PNAS nun erläutert. „Mit den Methoden der stochastischen Thermodynamik können wir erstmals abschätzen, wie effizient reale Computer – von natürlichen ‚Computern‘ wie Gehirnen über einzelne digitale Computer bis hin zu vernetzten Rechenzentren – tatsächlich sind“, so Korbel. „Wir können somit abschätzen, wie viel Energie als Wärme verloren geht, also was die Kosten sind, wenn wir zum Beispiel alles schneller machen wollen – nicht nur für unsere Stromrechnungen, sondern auch für das Klima.“

„Die stochastische Thermodynamik gibt uns die Werkzeuge an die Hand, um mit Gleichungen alles zu untersuchen und zu quantifizieren, was in Systemen vor sich geht, auch wenn sie beliebig weit von einem Gleichgewicht entfernt sind“, sagt David Wolpert vom Santa Fe Institute. Diese Werkzeuge umfassen mathematische Theoreme, Unschärferelationen und sogar thermodynamische Geschwindigkeitsgrenzen, die auf das Verhalten von Nicht-Gleichgewichtssystemen in allen Größenordnungen anwendbar sind – von den sehr kleinen bis hin zu makroskopischen Systemen. „Auf praktischer Ebene können diese Werkzeuge uns helfen zu verstehen, wie viel besser Systeme noch werden können, ob Energie gespart werden kann oder ob das Maximum schon erreicht ist“, so Korbel.

Bis vor etwa zwanzig Jahren gab es kaum mathematische Möglichkeiten, um Systeme zu beschreiben, die nicht in thermischem Gleichgewicht sind. Das bedeutet, man behandelte sie als abgeschlossene Systeme, bei denen keine Energieflüsse mit anderen Systemen und der Umgebung stattfinden. Kurzum, bis etwa zu Beginn des 21. Jahrhunderts musste die Energienutzung in Computern – seien es natürliche oder digitale – immer stark abstrahiert und vereinfacht werden. Denn reale Computer arbeiten weit entfernt von einem thermischen Gleichgewicht, wie die Autor:innen der Studie betonen.

„Reale Computer geben immer eine gewisse Menge Wärme an die Umgebung ab. Außerdem gibt es in realen Computern unzählige Subsysteme, die nicht gleich gut miteinander vernetzt sind“, erklärt Korbel. „Während zum Beispiel Chips innerhalb der CPU eines Computers schnell Informationen austauschen können, dauert es länger, bis Daten von der CPU zum RAM gelangen, und noch länger, bis Informationen zwischen Computern und Rechenzentren übertragen werden.“ Einzelne Teile isoliert zu betrachten, führe daher unweigerlich zu einer gewissen Abstraktion, so Korbel.

Zudem sind reale Computer physikalischen Beschränkungen unterworfen. „Man gibt zum Beispiel einem Computer niemals eine Aufgabe und wirft ihn dann weg. Vielmehr gibt man ihm viele Aufgaben, und jede dieser Aufgaben soll er so schnell wie möglich erledigen. Außerdem befinden sich zuvor verarbeitete Informationen bereits im Speicher und so weiter“, erklärt Korbel.

All diese Eigenschaften realer Computer konnten bei der Untersuchung von Energieflüssen lange Zeit nicht berücksichtigt werden. „Bis Pioniere wie David Wolpert, die zuvor in Bereichen wie Physik, Komplexitätswissenschaft und maschinelles Lernen gearbeitet hatten, erkannten, dass die Tools aus diesen Disziplinen auch in der Informatik eingesetzt werden können“, erklärt Korbel. Das war die Geburtsstunde der stochastischen Thermodynamik.

Zum einen sind diese Methoden noch relativ neu. „Sie sind selbst unter Physiker:innen noch wenig bekannt. Informatiker:innen und Ingenieur:innen haben mit hoher Wahrscheinlichkeit noch nie davon gehört“, erklärt Korbel. „Zum anderen scheint der Druck für Tech-Konzerne derzeit eher darin zu bestehen, die schnellsten Geräte zu produzieren oder die neueste Technologie zu verwenden. Die Energiekosten und wie effizient Energie genutzt wird, spielen zwar eine Rolle – zum Beispiel sind Datenzentren in der Regel zur Kühlung unter Wasser – aber weniger Wärmeabgabe wird eher durch die Optimierung von Materialien oder Algorithmen erreicht“, meint Korbel.

Die beiden Forscher betonen außerdem, dass die potenziellen Vorteile der stochastischen Thermodynamik weit über künstliche Computer wie Laptops und Telefone hinausgehen. Zellen führen Berechnungen durch, die weit vom Gleichgewicht entfernt sind; das Gleiche gilt für Neuronen im Gehirn. „Das Gehirn ist typischerweise aufgrund der Evolution sehr effizient, doch auch hier stellt sich die Frage: Wie weit sind wir vom Maximum entfernt?“, überlegt Korbel.

Die Studie “Is stochastic thermodynamics the key to understanding the energy costs of computation?” von D. H. Wolpert, J. Korbel et al. wurde in PNAS publiziert (doi: 10.1073/pnas.2321112121).

Der Complexity Science Hub (CSH) ist Europas wissenschaftliches Zentrum zur Erforschung komplexer Systeme. Wir übersetzen Daten aus einer Reihe von Disziplinen – Wirtschaft, Medizin, Ökologie, Sozialwissenschaften – in anwendbare Lösungen für eine bessere Welt. Gegründet im Jahr 2016, forschen heute über 70 Wissenschafter:innen am CSH, getragen von der wachsenden Notwendigkeit für ein fundiertes Verständnis der Zusammenhänge, die unserer Gesellschaft zugrunde liegen – vom Gesundheitswesen bis zu Lieferketten. Mit unseren interdisziplinären Methoden entwickeln wir die Kompetenzen, um Antworten auf heutige und zukünftige Herausforderungen zu finden. 

Mitglieder des CSH sind AIT Austrian Institute of Technology, BOKU University, Central European University (CEU), Medizinische Universität Wien, TU Wien, TU Graz, Universität für Weiterbildung Krems, Vetmeduni Wien, Wirtschaftsuniversität Wien (WU) und Wirtschaftskammer Österreich (WKÖ).

csh.ac.at