【ATU Book-DeepX 系列】DeepX DX-M1 強勢來襲，引爆邊緣 AI 運算新革命

關鍵字 :DeepX邊緣人工智慧神經處理單元電腦視覺

一、概述

隨著人工智慧（AI）技術不斷演進至工業自動化、智慧交通、醫療照護與消費性電子等領域，過去依賴的中央處理器（CPU）與圖形處理器（GPU）在能效與即時性需求面前，逐漸顯得力不從心。為了滿足日益增長的 AI 推理需求，專為神經網路運算設計的神經網路處理單元（Neural Processing Unit，簡稱 NPU）應運而生，成為新一代邊緣 AI 晶片不可或缺的核心元件。

驅動邊緣AI晶片應用的核心引擎NPU，透過專為深度學習運算（如卷積神經網路CNN、遞迴神經網路RNN）設計的指令集與硬體架構，能夠以極高效的方式運行。低功耗實現高效能推理，讓各類終端設備在無需依賴雲端的情況下，即可獨立完成物體檢測、人臉辨識、語音辨識、自然語言處理等 AI 任務，即所謂的邊緣運算（Edge Computing）。

與 GPU 相比，雖然 GPU 擁有強大的平行處理能力，並適合用於模型訓練與開發，特別是在資料中心或高效能運算領域，但在能效與即時性方面仍有一定限制。NPU 則針對 AI 推理所需的矩陣運算、卷積操作與非線性激活等核心流程進行硬體優化，不僅...大幅降低功耗，還能縮短推理延遲特別適合部署於智慧型手機、邊緣伺服器、智慧車輛、智慧醫療、智慧監控、工業機器人及物聯網設備等對於回應速度與能源效率有高度要求的場景中。隨著邊緣 AI 應用持續擴大，NPU 將成為驅動智慧化設備與系統演進的重要推動力。。

圖文來源：生成式 AI 軟體

DeepX：引領智慧新浪潮的造勢者

在邊緣運算浪潮中，深度X為韓國新創的 AI 晶片公司，擁有約 240 多項智慧技術。專利[link] 並在 CES 2024 一次榮獲嵌入式、機器人三項創新獎[link]、電腦整合等等大獎。甚至被美國消費者技術協會（CTA）評為「必訪公司」，成為全球市場的焦點。 [link] 。

DeepX DX-M1 的 NPU 晶片強勢來襲，憑藉著強大的邊緣運算能力（25TOPS）以及 IQ8™（Intelligent Quantization Integer 8）獨家的量化技術，足夠媲美 GPU 的準確度突破了傳統整數運算解決方案的限制，助力推動更精確的AI推理場景。在功耗和溫度表現方面更是表現出色，脫穎而出。DeepX 高效能 AI 解決方案在 低功耗（5 TFLOPS/W）與極低的工作溫度 39°C下提供 25 TOPS 的卓越性能，成為智慧監控、智慧醫療、智慧製造等邊緣 AI 應用的唯一首選。

軟體持續優化更新：打造最佳使用者體驗

DeepX 不僅擁有強大的硬體效能，還打造了一個完整且友善的軟體生態系統，為開發者提供全方位的支援。其生態系統包含詳細的快速入門指南（Quick Start Guide）、功能強大的軟體開發工具包（SDK）、豐富的模型資源庫（Model Zoo），以及多樣化的範例應用程式。這些資源能有效協助開發者迅速整合並優化 AI 模型的運行，縮短開發時間，同時提升應用效能，讓 AI 創新變得更加輕鬆實現。

卓越的AI性能

利用 DeepX DX-M1 晶片運行當前最熱門的 YOLOv5s （640x640）目標檢測算法，可輕鬆達到每秒約 330 張。

二、DeepX DX-M1 引領 AI 智能新浪潮的造勢者

深度X於 2018 年由 Lokwon Kim 創立並擔任首席執行官。其理念是打造業界領先的設備端 AI（On-device AI）晶片，期望每個人無論身處何地都可以使用 AI。透過 DeepX 的開發設計，實現低功耗、高效能、低成本的人工智慧半導體，讓所有設備都變得智慧化。連結其成就已受到各大社群媒體與國際組織的青睞，並與眾多合作夥伴共同創造新的智慧未來，例如友通資訊 DFI。[連結]樂金LG[連結]映泰 BIOSTAR[連結]英業達[連結]等知名企業。

DX-M1是 DeepX 最新的一代晶片。具有高計算能力（1W / 5 TFLOPS）、高精度、低功耗、低溫度高跨平台整合性等優勢，其中以IQ8™（智能量化整數8）量化技術，在擁有 INT8 的極致效率的同時也能享受到FP32 精度實現無與倫比的 AI 精準度[链接]。並提供豐富的模組資源，能夠讓使用者體驗更完善的 AI 資源整合，因此推出了 DX-M1 M.2 AI 加速器加速卡如下圖所示，加速卡配置了 4G 的 LPDDR5 記憶體，讓使用者可以盡情地將模組放入 DX-M1 晶片運行，並且內建搭配一顆 Cortex M55@1Ghz 協同處理部分算子，同時確保模組的隱私性（Security）。

規格

優勢介紹

（1）採用 IQ8™（Intelligent Quantization Integer 8）量化技術，能夠媲美 GPU 的精確度。

（2）不佔用系統記憶體

（3）具備高效能、高準確度、低功耗、低溫度等特性擁有 25 TOPS 的 AI 性能僅需花費 4.5 W

（4）最佳資料流優化，能夠最大限度地減少資料移動

（5）豐富的軟體應用資源，能夠提供市場所需的解決方案

圖文出處：DeepX 文件

軟體框架（Software Framework）

DXNN 系統由三大核心組件構成，分別是量化器（Quantizer）、編譯器（DX-COM Compiler）以及執行時環境（DX-RT Runtime），共同驅動旗下的 DeepX AI SoC 系列產品。這些組件相互協作，形成一個高效的人工智慧運算平台，為各種應用場景提供強大的支援。以下圖示範說明其架構：

圖文出處：DeepX官網

下列表格是 GPU 與 DX-M1 的準確度分析，其中綠字Full Precision 表示代表 GPU。藍字表示 IQ8 代表 DeepX NPU。（實際數據會隨 SDK 版本變動）

DEMO 範例

DeepX 原廠致力於推動人工智慧技術的普及，提供多樣化的 AI 範例與教學資源，循序漸進地引導開發者掌握 AI 應用的實現過程。透過這些範例，開發者不僅能深入了解人工智慧的核心技術，還能學習如何將其靈活運用於實際場景，從而加速創新與技術落地。

三、結語

DeepX 是如何透過 AI 晶片來改變邊緣人工智慧應用的客戶體驗，從而打造人人可用的 AI 晶片：

1. 極致效能表現

DeepX DX-M1 採用 IQ8™ 技術，在僅 4.5W 功耗下，提供高達 25 TOPS 的推理性能，遠優於傳統 GPU，特別適合需要高效能與低功耗的邊緣運算場景。

2. 接近浮點精度的整數運算（高精度 INT8）

通過 IQ8™ 智能量化技術，DX-M1 能夠在 INT8 整數格式下實現接近 FP32 浮點精度，確保模型推理的高準確率，無需額外的模型修改或重新訓練。

3. 完整且友善的開發生態系統（Developer-Friendly Ecosystem）

提供完善的SDK、模型資源庫（Model Zoo）與各類範例應用，加速開發者導入與部署，降低學習門檻，快速實現產品。

4. 高度整合模組設計（緊湊型和整合模組）

DX-M1 M.2 AI 加速卡內建 4GB LPDDR5 記憶體和 Cortex-M55 協處理器，提供大容量記憶體，可支援多個 AI 模型應用，方便整合到各種終端設備中。

5. 優化資料流架構

針對資料流設計硬體架構，減少資料搬移成本，大幅提升推理速度與系統回應時間。

因此，DeepX 憑藉其創新的 DX-M1 解決方案，正在重新定義邊緣人工智慧的技術標準。從高效能、低功耗、高準確度，到完善的軟體支援與模組整合設計，DeepX 正為邊緣AI的快速普及與落地提供堅實後盾。其核心技術不僅解決了傳統 GPU、CPU 在能效與即時性上的瓶頸，也為開發者與企業用戶提供了靈活、快速且高可靠性的AI解決方案。

隨著人工智慧在零售、智慧城市、醫療照護、工業4.0等領域的蓬勃發展，DeepX正站在邊緣運算技術的浪潮之巔，持續推動智慧世界的實現。藉助原廠提供的各類開發資源與範例指引，AI已不再遙不可及，只需按照簡單步驟，就能快速實現各種創新應用。如果您是想試用或採購 DeepX DX-M1 產品的新夥伴，請立即聯繫我們！謝謝！