一、概述
隨著 ChatGPT、Gemini 等大型語言模型的應用逐漸融入我們的日常生活，AI 這兩個字已經深深烙印在人們心中。因此，如何讓人們的工作變得更智能、更高效、更快捷，成為下一個時代的重中之重！這也帶動了雲伺服器對 GPU 使用需求的暴增。據 DIGITIMES 報導——『 AI 伺服器需求激增，2024 年高端伺服器 GPU 產值將達 1022 億美元，NVIDIA 市場占有率居首。』。
另外，值得關注的另一個議題就是雲端應用的孿生兄弟。邊緣運算（Edge Computing）該應用涵蓋手機、相機、機器人、汽車、無人機、穿戴裝置、工業與醫療電腦等，讓每一台設備都具備 AI 智能。相比需要透過網際網路的雲端運算，邊緣運算強調運算速度、省電、低功耗、隱私性等概念。
對於對電腦視覺、機器學習、深度學習有一定了解的人來說，會理解這兩個領域實際上可以分為「訓練」和「推理」。由於 GPU 的硬體設計非常適合應用於高重複性且複雜的任務，因此使用 GPU 來訓練 AI 模型是非常合適的！當模型訓練完成後，可以長時間利用該模型來實現各種預測任務，比如物體的位置、臉部特徵是否匹配、下一段可能會說什麼話等 AI 任務。因此，‘推理’應用市場是相當龐大的，並且會持續增長。句子: 。 具 Data Bridge – 『全球邊緣人工智慧 (AI) 硬體市場規模、份額和趨勢分析報告 – 產業概覽及 2032 年預測 指出目前邊緣人工智慧（Edge AI）硬體市場規模為 18.6 億美元，預計到 2032 年將達到 49.4 億美元。
邊緣計算市場預測 –來源 Data Bridge 網站
二、AI新浪潮的推動者
當前全球人工智慧（AI）技術的快速發展，正推動整個半導體產業邁向新的時代，而其中推理（Inference）所需要的算力（TOPS，Tera Operations Per Second，兆次運算每秒）已成為衡量 AI 晶片效能最直觀且重要的指標之一。這種需求不僅重塑了硬體的設計思維，更開啟了一場全球性的 AI 晶片新戰場！
新興AI晶片公司百花齊放，推動NPU架構革新
在過去五年中，隨著人工智慧推理市場的興起，越來越多的新創公司投入專用AI加速器的研發，特別針對低功耗、高效能的邊緣設備需求，掀起了一場神經處理單元（NPU）架構的創新浪潮。以下為目前在國際間具有代表性的新創AI晶片公司：從2015年成立的Kneron（台灣）2017年成立的Hailo（以色列）2019年成立的 DeepX（韓國）、 MemryX（美國）、 Axelera AI（荷蘭）與Neuchips（台灣）到2025年為止，全球已有超過30家新創公司投入這一賽道，形成本世代少見的「百家爭鳴局面不僅從硬體架構創新著手，還擴展到軟體生態系統整合、模型轉換與工具鏈設計，形成完整的AI加速生態系統。
傳統半導體巨頭的快速反擊
面對新興 AI 晶片公司的崛起，過去在半導體市場占據主導地位的傳統晶片巨頭也加快步伐，積極轉型以迎合 AI 推理與邊緣運算的新趨勢。這些企業擁有先進製程、完整的開發工具與全球供應鏈優勢，正透過併購、產品整合與生態系統建構，重新布局 AI 硬體版圖例如，Qualcomm 將 AI 引擎整合進 Snapdragon 平台，廣泛應用於手機、車載裝置；NXP 通過 i.MX 系列整合 NPU 與eIQ 軟體工具，瞄準工控與智慧城市；Renesas 則導入 Reality AI用於 MCU/MPU 平台，強化感測與即時控制應用。同時，作為全球最大 IP 核心供應商的 ARM 也加入戰局，推出 Ethos-U 系列 NPU，專為低功耗設備設計，並與 Cortex-M / Cortex-A 處理器緊密整合。快速席捲可穿戴、家庭、IoT等邊緣AI市場，如下圖定義。
ARM分析運算力應用市場示意圖出處 ARM 和 linuxgizmos 網站
AI 晶片分流化時代：視覺與語言模型的雙軸進化
隨著 AI 推理需求快速增長，市場已明顯分化為兩大核心應用領域：電腦視覺（Computer Vision）與大型語言模型（Large Language Models, LLM）而各家 AI 晶片廠也根據不同需求設計對應的架構與產品策略。
在電腦視覺領域，應用場景涵蓋智慧交通、自動駕駛、安防監控、工業影像識別等，特別強調即時性、低延遲與低功耗。因此，大多數晶片設計採用中等級算力（10~50 TOPS）並優化資料遷移與模型部署效率，例如：DEEPX DX-M1（25 TOPS）Hailo-8（26 TOPS）MemryX MX3（24 TOPS）等。此外，例如SiMa.ai MLSoC（50 TOPS）與Axelera AI Metis（214 TOPS）等高效能產品，也能支援多模型並行或高解析度視覺分析的需求。
相比之下，大型語言模型如 ChatGPT、BERT、LLaMA 等，則需要極高的計算吞吐量與參數處理能力，這驅動了 AI 晶片朝向高 TOPS、高頻寬與大量內部儲存的方向發展。例如：Tenstorrent Wormhole n300d的推理性能達到 466 TOPS 與Neuchips RecAccel N3000（206 TOPS）針對資料中心與雲端部署優化，專為邊緣部署設計的產品。更小一些的邊緣設備，例如DEEPX DX-M2（40 TOPS）Hailo-10H（40 TOPS），已經具備支援輕量版 LLM 推理的能力。
如下圖，不僅突顯各家晶片產品的技術定位，也說明 AI 硬體市場正快速朝著應用分層與場景化設計的趨勢邁進。評估 AI 晶片供應商的優劣，不僅僅只是以算力（TOPS）作為唯一衡量指標必須考慮功耗、延遲時間以及實際軟體部署體驗。使用者將會從中找到最適合的 NPU 解決方案。這場 AI 晶片競賽不僅是比拼性能，更是系統整合與應用落地能力的全面較量。
AI 晶片市場布局示意圖（資訊與 Logo 摘自公開網站，僅供對照參考）
邊緣 AI 的核心關鍵：精準對應場景選擇晶片
一個真正能在場域中發揮效能的 AI 系統，遠不只是依靠單一 NPU 晶片即可達成。雖然 NPU 是神經網路推理的關鍵運算核心，但它只是整體系統中眾多運算模組之一。實際應用中，為了實現流暢且高效的 AI 處理，還需搭配 SoC 中的協同處理器，例如負責影像前處理的。ISP（影像訊號處理器），協助圖形渲染與合成的GPU（圖形處理器）以及負責影片解碼、編碼與壓縮的 VPU（Video Processing Unit）。這些協同處理器扮演著不可或缺的角色，從影像擷取、畫面校正、格式轉換，到 AI 模型的前處理與後處理，每一個環節都至關重要。透過這些模組的高度協同，AI 晶片才能實現真正可商用的應用效益。
如下圖所示，AI 晶片的實際導入不應僅停留在推理效能（TOPS）的比較，而是應該根據整體系統架構進行設計思考。從前端攝影機（Camera）到中間層的 NVR（網路影像錄影機），再到後端的伺服器（Server），每一個階段都可能使用不同類型、規模與能力的 AI 處理器。
以前端智慧攝影機例如，這類產品需要內建影像擷取、即時推理、低延遲回饋與低功耗等特性，因此較常採用如 Kneron KL720（1.5 TOPS）與恩智浦 i.MX 8M Plus（2.3 TOPS）這種高整合度且搭載多媒體模組的 SoC 晶片，不僅體積小，還具備基礎 AI 推理和 ISP 支援功能，能夠在邊緣端直接完成如人臉偵測、物體識別等任務。而在中端應用層，如 NVR，通常不需要每台攝影機都具備 AI 功能，而是透過 NVR進行多路流的集中推理。這類產品可以搭配如 Hailo-8（26 TOPS）與DeepX DX-M1（25 TOPS）等中高性能AI模組，支援多支甚至數十支攝影機的同時畫面分析，是目前智慧城市與零售場景中常見的解決方案。
至於後端的邊緣伺服器與資料中心，則需要應對更大規模的運算負載與更複雜的模型，特別是現在的語音助理、即時翻譯、大型語言模型（LLM）等應用。此時，就需要配備如 Neuchips RecAccel（206 TOPS），甚至 Tenstorrent Wormhole n300d（466 TOPS）等高端AI晶片，具備強大的推理效能、記憶體頻寬和多工處理能力，可支援大規模即時推理、視覺-語言融合或雲端邊緣混合部署等需求。總的來說，AI晶片並非單一元件的競賽。而是一場考驗「整合能力」的系統設計比拼唯有將 NPU 與 ISP、GPU、VPU 等模組有機整合，並根據應用場景精準部署 AI 硬體，才能發揮 AI 系統真正的商業價值。
AI產品設計示意圖
三、結語
縱觀 AI 晶片產業的發展脈絡，已從早期強調運算性能（如 TOPS）的單一指標，逐漸轉向以應用導向、系統整合與場景落地為核心的新競爭格局。無論是部署於智慧攝影機、工業設備，還是語音助理與大型語言模型伺服器，一顆 AI 晶片的價值，早已不僅僅是數字上的快與強，而是其能否真正融入產品、發揮協同效應，並解決現實中的問題。
NPU雖然是AI運算的核心，但只有與ISP、GPU、VPU等協處理器高度整合，並配合高效能系統設計與軟體支援，才能創造真正具有商業價值的智慧終端。然而，一顆優秀的 AI 晶片絕不僅僅是硬體本體，更仰賴於完整的生態系統建構。從驅動程式、模型轉換工具、開發框架支援，到範例程式與部署模板的持續優化，這些都是能否打動開發者並導入產品的關鍵。此外，與使用者的密切溝通與回饋循環，也是加速產品成熟與市場擴展不可或缺的一環。
要真正引領市場、撼動如 NVIDIA 等既有強者地位，AI 晶片供應商必須同時具備強悍的系統整合能力、靈活的部署方案，以及以開發者體驗為核心的軟體支援策略，才能在這場 AI 革命中站穩腳步，開創新的競爭高地。
因此，大大通的 AI 社群 為各位評估 AI 晶片的使用者，提供最大的資源支援，包括原廠展示影片、開發者資源、範例應用（Example Code）、模組資源（Model Zoo）。協助邊緣運算的夥伴，快速找到 AI 應用落地的契機！
四、參考文件
參考網站：
[1]AI伺服器需求激增，2024年高端伺服器GPU產值將達1,022億美元，NVIDIA市場占有率居首。
[2] 全球邊緣人工智慧 (AI) 硬體市場規模、份額和趨勢分析報告 – 行業概覽及 2032 年預測
[4] 白話科技丨AI PC中常見的TOPS是什麼？1TOPS是多少算力？TOPS越大越好嗎？
[6]瑞薩收購Reality AI並發布在AI和TinyML解決方案方面的進展
如有任何相關人工智慧技術問題，歡迎在文章底下留言提問！
接下來還會分享更多人工智慧的技術文章 !!敬請期待 【ATU Book -AI 系列】 !!
評論