Авторизация / Регистрация

[Wadimus]

Компания DFRobot представила DX-M1 — компактный ИИ-ускоритель, который устанавливается в обычный слот M.2 вместо SSD. Устройство обеспечивает производительность до 25 TOPS при энергопотреблении от 2 до 5 Вт. Это решение рассчитано на локальную обработку данных без необходимости держать включённой мощную видеокарту или постоянно обращаться к облачным сервисам.

Внутри модуля находятся 4 ГБ собственной памяти LPDDR5 и 128 ГБ QSPI NAND Flash. Ускоритель работает через PCIe 3.0 и поддерживает PyTorch, TensorFlow, TensorFlow Lite и ONNX с помощью SDK DXNN. Разработчики смогут запускать модели компьютерного зрения, включая YOLO и MobileNet, а среди подходящих задач — анализ видеопотока, навигация роботов и автоматизированный визуальный контроль. При этом DX-M1 не использует оперативную память основного компьютера.

Однако считать новинку универсальным устройством для локального ИИ не стоит. Четырёх гигабайт памяти недостаточно для запуска крупных языковых моделей на 27 или 70 млрд параметров, а обучать нейросети ускоритель не предназначен. Кроме того, встроенные 128 ГБ нельзя использовать как обычный системный накопитель, поэтому слот M.2 придётся отдать под DX-M1 вместо дополнительного SSD. Цена устройства составляет $139 — вполне доступный вариант для узкоспециализированных задач, но не замена полноценной видеокарте.

Источники: wccftech

[LazySage]

Сообщение от Wadimus:

25 TOPS при потреблении всего 5 Вт

Маловато. Интересно сколько NPU в процах сейчас потребляет.

[elDen]

Сообщение от Wadimus:

Четырёх гигабайт памяти недостаточно для запуска крупных языковых моделей на 27 или 70 млрд параметров

можно поставить бонсай - вполне хватит для чатика.
и чатик подключить к нпц в игре.

[mir13]

Бота запустить на нём можно интересно) Пусть сам картинку анализирует и фармит золото в ВоВ))