Open Source KI-Tools

Eingebettete KI auf FPGAs ist in der Praxis oft komplex: Modelle und Algorithmen müssen an begrenzte Ressourcen wie Speicher, Rechenleistung und Energie angepasst werden, während Hardware und Software reibungslos zusammenarbeiten. Das führt häufig zu viel Handarbeit, schwer wiederverwendbaren Einzellösungen und langen Iterationszyklen – insbesondere, wenn Optimierungen oder Zielplattformen wechseln. Ohne klare Struktur und reproduzierbare Toolflows ist es zudem schwierig, Ergebnisse zuverlässig nachzubauen, zu testen und in produktionsreife Systeme zu überführen.

Elastic-Ai.Creator ist ein Open-Source-Tool zur systematischen Entwicklung von Embedded-KI und Hardware-Beschleunigern für MCUs und FPGAs. Rechenaufgaben werden zunächst in einer klaren Zwischenform beschrieben, aus der der Creator automatisch Hardware-Bausteine, VHDL/Verilog-Pläne oder Embedded-Code ableitet. Das spart Zeit, macht Ergebnisse wiederverwendbar und reduziert Fehler. Automatische Optimierungen sorgen für effiziente, plattformgerechte Implementierungen, während testgetriebene Workflows eine zuverlässige Integration in größere Systeme ermöglichen.

Im ZaKI.D wird Elastic-Ai.Creator kontinuierlich weiterentwickelt, um Unternehmen und Forschungsteams den Weg von KI-Modellen zur lauffähigen Embedded- bzw. Hardware-Implementierung zu erleichtern. Ziel ist weniger Handarbeit, mehr Automatisierung und klare Schnittstellen. Domänenspezifische Anforderungen wie eigene Datenformate, Operatoren oder Hardware-Strukturen lassen sich direkt integrieren. In enger Verzahnung mit OnDeviceTraining entsteht ein durchgängiger Workflow: vom Training auf dem Gerät bis zur Generierung passender Zielimplementierungen – zuverlässig auf realer Embedded-Hardware.

Der Schritt vom KI-/Hardware-Konzept zum zuverlässig laufenden Embedded-System ist oft eine Herausforderung: Toolchains und Abhängigkeiten sind fragil, Build- und Flash-Prozesse fehleranfällig, Tests werden uneinheitlich ausgeführt und Ergebnisse sind schwer reproduzierbar. Gerade bei KI-Beschleunigern greifen Firmware, Treiber, Build-System und Ausführung auf der Zielhardware eng ineinander, sodass kleine Änderungen schnell zu schwer nachvollziehbaren Effekten führen. Dadurch verbringen Teams viel Zeit mit Setup und „Glue-Code“, statt iterativ an Prototypen, Demonstratoren und Produkten zu arbeiten.

Elastic-Ai.Runtime ist die „Laufzeit-Software“ für den Elastic Node v5 (enV5) – also der Teil, der dafür sorgt, dass ein KI-Beschleuniger und die restliche Hardware im Alltag zuverlässig zusammenarbeiten. Vereinfacht: Während der Creator eher beim „Bauen“ hilft, sorgt die Runtime dafür, dass das Ergebnis auf dem Gerät läuft. Dazu gehören typische Aufgaben wie das Einrichten der Entwicklungsumgebung, das Übersetzen/Kompilieren des Codes, das Starten von Tests sowie das Ausführen auf dem enV5-Node (inkl. Flashen und Auslesen von Ausgaben/Ergebnissen).

So wird aus einem Hardware-/KI-Konzept ein nutzbares System, das sich reproduzierbar bauen, testen und betreiben lässt.

Im ZaKI.D entwickeln wir Elastic-Ai.Runtime gezielt weiter, damit Unternehmen schneller von Prototypen zu stabilen Demonstratoren und Produkten kommen. Unser Fokus liegt auf besserer Nutzbarkeit und Verlässlichkeit: klare Projekt-Startpunkte (Base-Project), einfachere Build- und Testabläufe und eine stärkere Verzahnung mit den restlichen Bausteinen des Elastic-AI-Ökosystems (Hardware, Creator, Cloud-Anbindung). Damit können Firmen Hardware-Beschleunigung iterativ erproben, Änderungen sauber nachverfolgen und Ergebnisse konsistent reproduzieren – ohne jedes Mal den gesamten Tool-Stack neu „zusammenzuklicken“. Ziel ist, Entwicklungsaufwand und Risiko zu senken und den Einstieg in eingebettete KI-Systeme praxisnah zu machen.

Viele eingebettete KI-Systeme sind heute auf reine Inferenz ausgelegt: Modelle werden zentral trainiert und anschließend als statisches Artefakt auf Geräte ausgerollt. In der Praxis führt das zu mehreren Hürden: Daten dürfen oder sollen das Gerät häufig nicht verlassen (Datenschutz, IP, Konnektivität), reale Einsatzbedingungen ändern sich aber trotzdem laufend (Drift, neue Nutzer, veränderte Umgebung). Ohne On-Device-Training müssen Updates dann über aufwendige Datensammel- und Retraining-Pipelines erfolgen, was langsam, teuer und teils gar nicht machbar ist. Gleichzeitig ist Training auf Mikrocontrollern technisch anspruchsvoll, weil Speicher, Rechenleistung und Energie extrem begrenzt sind und gängige Trainings-Stacks dafür zu schwergewichtig sind. Es fehlen oft schlanke, reproduzierbare Workflows sowie transparente Metriken und Tests, um Training am Gerät zuverlässig zu debuggen, zu validieren und sicher in produktive Embedded-Deployments zu

überführen.

OnDeviceTraining ist ein Open-Source-Framework, das KI-Modelle nicht nur auf kleinen Geräten ausführen („Inference“), sondern direkt dort auch weiter anlernen kann – z. B. auf Mikrocontrollern in Sensorik, Wearables oder Industrieanlagen. Das ist besonders dann hilfreich, wenn Daten das Gerät nicht verlassen sollen oder wenn ein Modell sich vor Ort an neue Bedingungen anpassen muss (Personalisierung, Drift, veränderte Umgebung). Das Framework ist bewusst leichtgewichtig aufgebaut und kann sowohl auf dem Zielgerät als auch am PC genutzt werden: Am PC lassen sich Modelle schnell testen und debuggen, bevor sie auf die Hardware übertragen werden.

Im ZaKI.D treiben wir die Weiterentwicklung von OnDeviceTraining gezielt voran, um Firmen einen praxisnahen Einstieg in „Trainieren am Gerät“ zu ermöglichen. Dazu bauen wir Schritt für Schritt typische Bausteine, Trainingsabläufe und Optimierungen aus – immer mit Blick auf knappe Ressourcen wie Speicher und Rechenzeit. Außerdem erweitern wir die Werkzeuge zur Nachvollziehbarkeit (z. B. Kennzahlen pro Modellteil, reproduzierbare Builds und Tests), damit Unternehmen Ergebnisse leichter validieren und in Produkte überführen können. So helfen wir, Entwicklungszeiten zu verkürzen, Datenschutzanforderungen besser einzuhalten und KI-Systeme robuster und anpassungsfähiger im Feld zu betreiben.

In vielen industriellen und wissenschaftlichen Anwendungen liefern klassische Deep-Learning-Modelle zwar gute Ergebnisse, ihre
Entscheidungen sind jedoch häufig schwer nachvollziehbar, was Debugging, Validierung und die Kommunikation gegenüber Stakeholdern
erschwert. Bei Kolmogorov-Arnold-Netzwerken verschärft sich das durch zahlreiche Modellvarianten (z. B. Splines vs. RBF) und
Hyperparameter, deren Einfluss auf Stabilität, Generalisierung und Interpretierbarkeit in realen Use Cases oft unklar ist. Ohne klare Leitfäden,
praxisnahe Beispiele und robuste Qualitäts- und Reproduzierbarkeitschecks entsteht dadurch ein erhöhtes Risiko, dass Ergebnisse nicht
verlässlich reproduziert werden können und der Transfer neuer Modellklassen in produktnahe PyTorch-Workflows unnötig langsam und
fehleranfällig bleibt.

Kolmogorov-Arnold-Netzwerke (KANs) sind eine alternative Art neuronaler Netzwerke, die komplexe Zusammenhänge nicht über viele
verschachtelte Schichten, sondern über interpretierbare mathematische Funktionen modellieren. Sie basieren auf einem mathematischen
Theorem, das zeigt, dass sich eine mehrdimensionale Funktion aus mehreren eindimensionalen Funktionen zusammensetzen lässt. Dadurch
eignen sich KANs insbesondere für Anwendungen, bei denen transparente Modellentscheidungen gefragt sind, etwa bei der Modellierung
physikalischer Prozesse oder in der Datenanalyse. KANLib ist eine Open-Source-Bibliothek, die die Entwicklung von KANs im KI-Framework
PyTorch ermöglicht. Der Fokus von KANLib liegt auf einem einfachen und gut erweiterbaren Design, um verschiedenste KAN-Varianten in der
Praxis evaluieren zu können.

Im ZaKI.D sehen wir KANLib als spannenden Baustein, um neue, gut interpretierbare Modellklassen schneller in die Anwendung zu bringen –
auch für Teams, die nicht tief in der Forschung stecken. Wir wollen KANLib im Projektkontext weiter „produktnah“ machen: bessere Beispiele und
Vorlagen für reale Use Cases, klare Leitfäden zur Modellwahl (z. B. wann Splines vs. RBF sinnvoll sind) und robuste Tests/Qualitätschecks,
damit Ergebnisse verlässlich reproduzierbar sind. Für Unternehmen bedeutet das: schnelleres Prototyping, weniger Risiko beim Einsatz neuer
Modelltypen und ein leichterer Transfer in eigene Workflows (PyTorch-basiert, modular erweiterbar).