DX-M1 от DFRobot обеспечивает локальную обработку ИИ без мощной видеокарты или подключения к облаку, но требует ресурса, которого в компактных компьютерах может не хватать: слота M.2. Ускоритель стоимостью $140 обещает до 25 TOPS при точности INT8 и энергопотреблении от 2 до 5 Вт. Среди предполагаемых областей применения — компьютерное зрение и робототехника.
Компактный модуль для инференса
DX-M1 подключается по PCIe 3.0 и предназначен для выполнения уже обученных моделей нейронных сетей, а не для их обучения. DFRobot называет подходящими задачами распознавание объектов, анализ видеопотоков, навигацию роботов и автоматизированный визуальный контроль.
Заявленные 25 TOPS — это показатель производительности при точности INT8. Он помогает понять, на какие нагрузки рассчитано устройство, хотя в материале не приводятся результаты для конкретных моделей или реальных сценариев применения.
Модуль оснащён 4 ГБ памяти LPDDR5 для весов нейронных сетей и 128 ГБ флеш-памяти QSPI NAND для прошивки и локального хранения скомпилированных моделей. Эти ресурсы используются самим ускорителем. Они не превращают его в универсальную замену основному накопителю компьютера.
Поддержка ПО и ограничения моделей
DXNN SDK от DFRobot поддерживает PyTorch, TensorFlow, TensorFlow Lite и ONNX. Это даёт разработчикам возможность использовать на модуле модели из этих фреймворков, хотя в материале не раскрываются подробности процесса конвертации и совместимости моделей.
DX-M1 не предназначен для непосредственного запуска больших языковых моделей. Объём памяти в 4 ГБ ограничивает возможности работы с более тяжёлыми LLM, а заявленная задача модуля — инференс с использованием обученных моделей, прежде всего для компьютерного зрения.
Компромисс со слотом M.2
При покупке нужно учитывать не только энергопотребление, но и потребность в слоте. DX-M1 занимает слот M.2, в который иначе можно было бы установить NVMe-накопитель, а встроенная флеш-память модуля не предназначена для хранения операционной системы или замены SSD.
Поэтому модуль лучше подходит для компактных компьютеров, промышленных систем и роботов, которым нужна локальная обработка данных компьютерного зрения с низким энергопотреблением и в которых есть место и для ускорителя, и для накопителя. Сам ускоритель невелик, но у слота есть и своя основная работа.