Training auf Edge-Geräten scheitert oft an Speicher und Rechenleistung. Quantized Parameter Updates (QPU) setzen genau hier an: Durch gezielte Quantisierung im Update-Schritt reduzieren sie den Ressourcenbedarf deutlich – bei nahezu gleicher Genauigkeit.

Die Ausführung von KI-Modellen auf Edge-Geräten ist heute weitgehend etabliert. Die Inferenz – also das Anwenden eines trainierten Modells – funktioniert inzwischen selbst auf Smartphones oder eingebetteten Systemen zuverlässig und effizient. Das Training hingegen bleibt eine Herausforderung: Klassische Trainingsverfahren sind speicher- und rechenintensiv und damit für ressourcenbeschränkte Hardware kaum geeignet.

Die Herausforderung: Training auf Edge-Geräten

Gerade in Anwendungen wie Wearables, industriellen Sensoren oder medizinischen Systemen wächst jedoch der Bedarf nach lokalem Training. Modelle sollen sich direkt vor Ort an neue Daten anpassen können – ohne Cloud-Anbindung, mit geringem Energieverbrauch und unter Wahrung sensibler Daten. Bestehende Ansätze stoßen hier schnell an Grenzen.

Ein zentraler Engpass liegt im hohen Ressourcenbedarf klassischer Trainingspipelines. Üblicherweise werden Parameter in 32-Bit-Fließkommazahlen (FP32) gespeichert, ergänzt durch Gradienten, Aktivierungen und Optimierer-Zustände. Selbst vergleichsweise kleine Modelle benötigen dadurch mehrere Megabyte Speicher – ein Wert, der für viele Embedded-Systeme nicht praktikabel ist.

Quantisierung als Schlüssel zur Effizienz

Quantisierung gilt als naheliegender Ansatz, um diesen Ressourcenbedarf zu reduzieren. Dabei werden Parameter und Berechnungen in niedrigeren Bitbreiten dargestellt, etwa als 8- oder 16-Bit-Werte. Während dies für die Inferenz bereits erfolgreich eingesetzt wird, ist quantisiertes Training deutlich komplexer. Insbesondere kleine Gradientenwerte gehen bei geringer Präzision schnell verloren, was die Trainingsstabilität beeinträchtigt.

Bisherige Verfahren lösen dieses Problem nur teilweise. Der Straight-Through Estimator (STE) etwa nutzt quantisierte Werte für die Vorwärtsrechnung, hält aber parallel eine hochpräzise Kopie der Parameter für das Training vor. Der resultierende Speicherbedarf bleibt dadurch hoch. Andere Ansätze setzen stochastisches Runden durchgängig im Trainingsprozess ein, was zwar Speicher spart, jedoch häufig zu instabiler Konvergenz führt.

QPU: Ein neuer Ansatz für effizientes Training

Mit den Quantized Parameter Updates (QPU) schlägt ein Forschungsteam der Universität Duisburg-Essen einen differenzierten Ansatz vor, der gezielt an den kritischen Stellen des Trainingsprozesses ansetzt. Die zentrale Idee besteht darin, die Modellparameter von Beginn an in reduzierter Bitbreite zu speichern, während sensible Berechnungen – insbesondere die Gradienten – weiterhin in hoher Präzision erfolgen. Die eigentliche Quantisierung wird dabei bewusst auf den Update-Schritt beschränkt.

Konkret bedeutet das: Erst die berechneten Parameteränderungen werden mithilfe von stochastischem Runden quantisiert und anschließend gespeichert. Dieser selektive Einsatz reduziert den Informationsverlust genau dort, wo er am wenigsten kritisch ist, und vermeidet gleichzeitig die systematischen Fehler, die bei deterministischen Rundungsverfahren entstehen können. Das Ergebnis ist ein ausgewogenes Verhältnis zwischen Speicherersparnis und Trainingsstabilität.

Die Evaluation auf Fashion-MNIST zeigt ein klares Bild:

• 92 % Validierungsgenauigkeit bei nur 57 % Speicherbedarf
• nur ~1,5 % Genauigkeitsverlust bei Halbierung des Speichers
• vergleichbare Performance zu STE – ohne Schattenkopien

Besonders relevant für die Praxis:

Stochastisches Runden reduziert die Varianz im Training und verhindert systematische Verzerrungen, wie sie bei deterministischen Rundungsverfahren auftreten.

Was das für Embedded AI bedeutet

Für die Praxis eröffnet dieser Ansatz neue Möglichkeiten. Embedded-Systeme, die bisher auf statische, vortrainierte Modelle angewiesen waren, können künftig selbstständig lernen und sich dynamisch an ihre Umgebung anpassen.

Konkrete Anwendungen:

• Adaptive Wearables mit personalisierten Modellen
• Industrielle Sensorik, die lokal Anomalien lernt
• Medizinische Systeme ohne Datenabfluss in die Cloud
• Edge-AI-Systeme, die sich kontinuierlich weiterentwickeln

Ausblick: Wie es weitergeht

Trotz dieser Fortschritte bleibt weiteres Potenzial bestehen. Insbesondere die Quantisierung von Gradienten stellt einen nächsten logischen Schritt dar, um den Ressourcenbedarf weiter zu senken. Auch die Kombination mit alternativen Zahlenformaten oder erweiterten Quantisierungsstrategien bietet Raum für zukünftige Forschung.

QPU zeigt jedoch bereits heute, dass effizientes Training auf Edge-Geräten kein theoretisches Konzept mehr ist, sondern ein realisierbarer Ansatz – und ein wichtiger Schritt hin zu wirklich autonomer, lokaler KI.