Schlankheitskur für neuronale Netze

Der wachsende Einsatz von künstlicher Intelligenz (KI) sorgt für steigende energetische Kosten und hinterlässt damit einen nennenswerten Fußabdruck in der Ökobilanz. Doch können die Vorteile von KI auch energetisch effizient und sparsam genutzt werden? Im Projekt Automatisiertes Green-ML für Fahrerassistenzsysteme, kurz GreenAutoML4FAS, suchen Wissenschaftler des L3S gemeinsam mit dem hannoverschen Unternehmen VISCODA nach Lösungen für effiziente KI-Anwendungen beim autonomen Fahren.

In den letzten Jahren konnte die Öffentlichkeit durch neue Anwendungen beobachten, wie künstliche neuronale Netzwerke immer leistungsfähiger wurden. Große neuronale Netzwerke wie ChatGPT benötigen dabei enorme Rechenressourcen. Ein Grund: Sie nutzen viele Milliarden Gewichte. Ein Gewicht gibt an, welche Bedeutung jede einzelne Verbindung zwischen den Neuronen des Netzwerks hat. Die Anzahl der genutzten Gewichte korreliert in etwa mit der benötigten Energie. Da zukünftige Fahrzeuge möglichst sparsam und effizient sein sollen, lassen sich große Modelle aus der KI-Forschung nicht so einfach in Millionen Fahrzeugen verbauen. „Eines unserer Ziele ist es daher, die Fähigkeit von bestehenden großen Netzwerken in kleine Netzwerke mit wenigen Gewichten zu komprimieren, ohne dass die Genauigkeit nennenswert sinkt“, sagt Timo Kaiser, der zusammen mit Patrick Glandorf und Prof. Dr.-Ing. Bodo Rosenhahn am Institut für Informationsverarbeitung der Leibniz Universität Hannover forscht.

Wenige Gewichte notwendig

Sparsifizierte neuronale Netzwerke (Englisch sparse: spärlich) nutzen nur einen Bruchteil der vorhandenen Gewichte. In ihrer Studie Hypersparse Neural Networks haben die hannoverschen Wissenschaftler eine Methode veröffentlicht, mit der regulär genutzte Gewichte sukzessive aus dem neuronalen Netzwerk entfernt werden können. Dabei werden die neuronalen Netze nicht nur wie üblich mit großen Datenmengen trainiert, sondern es kommt noch eine Schwierigkeit hinzu: Der Trainingsalgorithmus wird „bestraft“, wenn er für die Berechnung des Ergebnisses zu viele Gewichte benötigt. Um die Hauptaufgabe, zum Beispiel das Klassifizieren von Bildern, weiterhin lösen zu können, muss der Trainingsalgorithmus ein bereits trainiertes neuronales Netzwerk so umstrukturieren, dass eine sinnvolle Klassifikation auch mit wenigen Gewichten möglich ist. Nach dem Training lassen sich die überflüssigen Gewichte physisch von der Hardware entfernen. „Wir sehen, dass sich je nach Anwendung problemlos bis zu 98 Prozent der Gewichte entfernen lassen, ohne dass die Genauigkeit kritisch sinkt,“ sagt Patrick Glandorf, Erstautor der Studie.

Neue Einblicke in die KI

Bei der Untersuchung des Algorithmus lernten die Wissenschaftler auch interessante Details über das Verhalten von KI kennen. Entfernt man nämlich den Großteil der Gewichte, bevor der Algorithmus die Komprimierung abgeschlossen hat, verschlechtert sich die Qualität des neuronalen Netzwerkes. Allerdings nicht willkürlich, wie das Beispiel des CIFAR-10-Datensatzes zeigt. CIFAR 10 gehört mit einem Bestand von 60.000 Bildern, die in zehn Gruppen klassifiziert sind (Katzen, Vögel etc.), zu den in der Forschung zum maschinellen Lernen am häufigsten genutzten Datensätzen. Die neuronalen Netzwerke scheinen die zehn Klassen unterschiedlich gut zu komprimieren. Bricht man die Komprimierung deutlich zu früh ab, unterscheiden die Netzwerke tendenziell bereits zwischen Rehen, Vögeln und Katzen, erkennen aber weder Pferde noch Flugzeuge. Die Fähigkeit, letztere Klassen zu erkennen, wird dann sukzessive während der Anwendung des Algorithmus komprimiert. „Diese Erkenntnisse geben Aufschluss über die Benachteiligung bestimmter, vielleicht vulnerabler Gruppen“, sagt Kaiser. Auch Pferde hätten ein Recht darauf, im Straßenverkehr erkannt zu werden.

„Mit unserer Forschung stellen wir die Weichen für den verantwortungsvollen und effizienten Einsatz von künstlicher Intelligenz in alltäglichen Anwendungen“, sagt Prof. Rosenhahn. „Damit die neuen Technologien breit zugänglich werden und dabei nicht zu Problemen in klimapolitischen Fragen werden, müssen wir die Effizienz von KI genauso in den Fokus setzen, wie dessen reine Fähigkeit, Probleme möglichst genau zu lösen. Mit dem Projekt GreenAutoML4FAS gehen wir hier einen großen Schritt in die richtige Richtung!“