Das DX-M1 von DFRobot bietet lokale KI-Verarbeitung ohne leistungsstarke Grafikkarte oder Cloud-Verbindung, benötigt dafür aber etwas, das in kompakten Computern knapp sein kann: einen M.2-Steckplatz. Der 140 US-Dollar teure Beschleuniger verspricht bis zu 25 TOPS bei INT8-Präzision und einer Leistungsaufnahme von 2 bis 5 Watt. Zu den vorgesehenen Einsatzbereichen gehören Bildverarbeitung und Robotik.
Ein kleines Modul für Inferenz
Das DX-M1 wird über PCIe 3.0 angebunden und ist darauf ausgelegt, trainierte Modelle neuronaler Netze auszuführen, statt sie zu trainieren. DFRobot nennt Objekterkennung, Videostream-Analyse, Roboternavigation und automatisierte Sichtprüfung als geeignete Aufgaben.
Die beworbenen 25 TOPS sind ein Leistungswert für INT8. Diese Angabe hilft dabei, die für das Gerät vorgesehenen Arbeitslasten einzuordnen. Der Bericht liefert allerdings keine Ergebnisse für konkrete Modelle oder Anwendungen aus der Praxis.
Das Modul verfügt über 4 GB LPDDR5-Speicher für die Gewichte neuronaler Netze und 128 GB QSPI-NAND-Flash für Firmware und die lokale Speicherung kompilierter Modelle. Diese Ressourcen dienen dem Beschleuniger. Sie machen ihn nicht zu einem universellen Ersatz für den Hauptdatenspeicher eines Computers.
Softwareunterstützung und Modellgrenzen
Das DXNN SDK von DFRobot unterstützt PyTorch, TensorFlow, TensorFlow Lite und ONNX. Damit erhalten Entwickler eine Möglichkeit, Modelle aus diesen Frameworks mit dem Modul zu nutzen, auch wenn der Bericht weder den Konvertierungsprozess noch die Modellkompatibilität im Detail beschreibt.
Das DX-M1 ist nicht dafür gedacht, große Sprachmodelle direkt auszuführen. Seine 4 GB Arbeitsspeicher sind ein begrenzender Faktor für anspruchsvollere LLMs. Als Einsatzgebiet wird die Inferenz mit trainierten Modellen genannt, insbesondere für die Bildverarbeitung.
Der Kompromiss beim M.2-Steckplatz
Käufer müssen neben der Leistungsaufnahme auch den benötigten Steckplatz berücksichtigen. Das DX-M1 belegt einen M.2-Steckplatz, in dem sonst ein NVMe-Laufwerk Platz finden könnte. Sein integrierter Flash-Speicher ist nicht dafür vorgesehen, das Betriebssystem zu speichern oder eine SSD zu ersetzen.
Damit eignet sich das Modul eher für kompakte Computer, Industriesysteme und Roboter, die lokale, stromsparende Bildverarbeitung benötigen und sowohl für den Beschleuniger als auch für den Datenspeicher Platz haben. Der Beschleuniger mag klein sein, doch der Steckplatz hat eigentlich schon einen Job.