基於NXP i.MX8MQ的人工智慧效能驗證軟體整合測試解決方案

現今各大產業都逐漸往人工智慧的領域開發,品佳集團提出了全新智能學習解決方案,為整個產業提供了快速並且簡單的方式來開發人工智慧。人工智慧難以進入的首要原因為: 需要伺服器等級的運算能力來製作機器學習的經驗(即Model),此舉曠時費工,非大型企業等級的公司所能承受的成本,而成為進入人工智慧的第一道巨型門檻。在此因之下,許多開源公司開始開發自有的學習模型並提供產業界使用,但仍亟需解決的問題為如何整合各家開源公司所提供的學習模型。

eIQ: edge Intelligence Quotient。意指在edge端直接inference(推理) 學習模型,並得出計算結果。不須強力的伺服器等級運算能力,即可在終端產品上實現機器學習以及人工智慧的功能。

品佳集團提供了整合完成的開發環境以供客人快速地進入開發領域。同時提供了目前流行的開源學習模組包括opencv, tensorflow, tensorflow-lite, caffe 等。根據各家開源學習模組所擅長的領域,可以直接在i.MX8MQ上執行並且完全不受干擾可獨立的進行運作,替客戶節省成本以及開發時程。使用品佳集團整合完成的SDK可以立即協助客戶進入測試階段,不須再為開源程式的結合而煩惱,直接使用即可得出運算結果。客戶只需考慮應用場景,軟體整合的部分皆可以此方案做解決。i.MX8MQ的優勢為擁有4顆Cortex-A53 以及1顆GC7000+的GPU來處理影像辨識,機器學習,資料運算等複雜且沉重的資源消耗。舉凡人工智慧的使用範例: 影像辨識,物件辨認,人臉識別,物品分類,結果預測,都可以直接使用品佳集團所提供的SDK上做執行並且進一步的應用。

硬體系統說明:

  1. 將所要辨識物件的圖片經由網路或是儲存裝置輸入(USB/SD CARD..)至iMX8MQ的系統
  2. iMX8MQ的系統基於eIQ的架構,並啟動已經訓練好的物件辨別模型
  3. 由HDMI輸出畫面中,即可以發現物件辨別出來的結果。

 

實體應用圖如下:


實作流程:
以Linux Kernel 4.14.98為基礎,使用Yocto Project做開發環境
首先在local.conf中編譯Opencv, tensorflow-lite等應用程式及學習庫
編譯完成後,下載opencv執行範例壓縮包
github.com/opencv/opencv_extra/tree/4.0.1
解壓縮完後使用python下載學習模組
$cd opencv_extra-4.0.1/testdata/dnn/
$python download_models.py
將所需檔案複製到/usr/share/OpenCV/samples/bin資料夾中


以影像辨識學習模型squeezeNet執行物件辨識的結果

$./example_dnn_classification --input=dog416.png --zoo=models.yml squeezenet
我們使用流行的dog416.png作為輸入元素,並得出結果:

執行辨識的時間約300ms

使用物件辨識Yolov3學習模組所得出的結果

$./example_dnn_object_detection -width=1024 -height=1024 -scale=0.00392 -input=dog416.png -rgb -zoo=models.yml yolo
可得出結果
以上證明使用品佳所提供的平台
只需下載pre-trained模組後
即可直接執行影像辨識,物件辨認的機器學習行為
此方案可協助客戶立即進入軟體開發階段,省去整合的麻煩工作。

硬體設計部分:



詳細硬體設計可以參考附件的硬體資料

►場景應用圖

►展示板照片

►方案方塊圖

►核心技術優勢

i.MX8M: ◆ 高速四核⼼A53搭配微處理器M4單獨執⾏,可完整彈性分配效能運用。 ◆ 內建4K的硬體decoder。音源品質最高可支持DOLBY ATMOS與DTSX,不論影音皆可達最高規需求。 ◆ ⽀持眾多輸出輸入介⾯,GbEthernet, MIPI-CSI, DSI, SDIO, USB3.0, PCI-E2.0 搭配由品佳獨家提供的軟體整合平台,可快速幫助客戶進入測試以及免去繁瑣的軟體移植作業。 此方案的軟硬體結合之下,概括人工智慧各領域的應用皆可直接進行效能測試,為客戶評估專案的最佳利器。

►方案規格

4核 ARM Cortex-A53+1 Cortex-M4 OpenCV 4.0.1 Arm Compute Library 19.02 Arm NN 19.02 ONNX runtime 0.3.0 TensorFlow 1.12 TensorFlow Lite 1.12 Linux® OS, Android™, FreeRTOS®

技術文檔

類型標題檔案
硬件Schematics
硬件Gerber
硬件Layout