基於深度學習 2D 人臉識別的NXP i.MX 8 M Shark 方案

隨著 AI 技術應用領域的快速擴展,國內外眾多企業或服務商也想藉此進入或拓展文字、語音或視覺等領域,尤其是計算機視頻 + 深度學習的黃金搭檔,其應用範圍和效果更加突出。為了適應上述科技趨勢,世平集團推出 Shark 方案,其採用恩智浦的 i.MX 8 M 作為方案主晶片,i.MX 8M 系列的應用處理器基於 ARM® Cortex®-A53 和 Cortex®-M4 內核,具有業界領先的音頻、語音和視頻處理功能,適用於從消費家庭音頻到工業樓宇自動化,移動計算機以及 Auto 等廣泛應用,不僅具有高品質視頻,提供全 4K UltraHD 解析度和 HDR(Dolby Vision、HDR10 和 HLG)、提供最高水平的專業音頻保真度,具有 20 多個音頻通道,每個通道 384KHz,同時帶來 DSD512 音頻功能、適用於無風扇運行,散熱系統成本低和電池壽命長,還擁有靈活的存儲器選件、最新的高速接口可提供靈活連接。最後,i.MX 8M 系列的應用處理器全面支持恩智浦的 10 年和 15 年產品長期供貨計劃。

  

1、人臉識別算法基本思路

檢測:Camera 採集圖像 à 設置 OpenCV 人臉檢測分類器 haarcascade_frontalface_alt.xml 和各種預處理、設定特徵檢測人臉 API 函數的參數 à 查找出圖像中所有人臉,並將結果以方框顯示的方式標註出來。

注 冊 :根據客戶需要,設定註冊按鈕 à 等待系統檢測到需要註冊的人臉對象 à 輸入對應人臉 Label à 點擊提交按鈕 à 完成註冊。

識 別 :設定人臉識別的閾值 à 檢測到人臉 à 深度學習人臉識別算法將人臉圖像與已註冊過的所有人臉數據進行對比度或相似度計算 à 相似度計算結果必須大於設定的識別閾值 à 顯示最大相似度對應的人臉 Label 和計算結果。

  

1_1、算法流程_人臉識別

 

 

 

 

 

2、方案特點

① i.MX 8 M 為 Cortex-M4 + 四核 Cortex-A53。

② 多功能顯示接口

③ 多功能 Camera 接口 

④ 支持 5V & 12V 電源輸入切換

⑤ 支持 Type-C 及 USB HOST 功能

⑥ 人臉識別應用採用深度學習視覺算法,系統很好地平衡識別準確率與幀率

⑦ 藉助 3D 結構光 Camera 實時處理三維視覺數據的各種應用

 

3、方案功能

① 攝像頭功能:兩路 4lane MIPI-CSI 。

② 連接功能:支持最大 1Gbps 的 RJ45 以太網接口,同時支持 USB3.0 Type-C、USB3.0 Type-A、M.2(PCIe2.0)、I2C、SPI、UART 等接口。

③ 顯示功能:支持最大 4Kp60 HDMI 輸出顯示,一路1080p60 MIPI-DSI 輸出顯示接口。

④ 音頻功能: 支持一路 3.5mm 耳機音頻輸出。

⑤ 2D 人臉識別功能: 結合 Camera,執行多人 2D 人臉檢測與識別,支持同一時間單人註冊與自定義英文標籤 Label 輸入。

⑥ 3D 人臉識別功能: 結合 3D 結構光 Camera,執行3D 人臉重建、檢測、識別。

 

4、ATU 可提供的支持

① 提供所有的硬體設計資料、SDK 和 DS 工具

② 給客戶做軟硬體培訓,並提供 FAQ 和Hands On 文檔

③ 協助客戶完成原理圖和 PCB 設計,搭建系統開發環境

④ 協助客戶搭建 Camera 的開發環境和運行 Sample Code

 

 5、技術文檔
(見方案附件)

場景應用圖

sceneryUrl

產品實體圖

imgUrl

展示版照片

frontUrlbackUrl

方案方塊圖

funcUrl

場景應用圖二

other1Url

Shark 方案開發套件

other2Url

核心技術優勢

1. 一路 HDMI 2.0a,支持最大 4Kp60 輸出顯示 2. 一路 MIPI-DSI(4-lanes), 支持最大 720p60 輸出顯示。 3. 兩路 MIPI-CSI (4-lanes)Camera,支持 4Kp30, 1080p60/30, 5MP at 15 fps, 720p60, VGA at 60 fps。 4. 一個 M.2 接口,上面集成 PCIe2.0、USB2.0、UART、SDIO、I2C、I2S 等接口,可以外接 WIFI&BT、4G 等模塊。40 Pin 引腳功能) 5. 一個 40 Pin Header 接口,上面帶有 UART、I2C、SAI、GPIO 等資源(兼容樹莓派)

方案規格

1. 主晶片 i.MX 8 MM,四核 Cortex-A53 + Cortex-M4。 2. 支持從 SD 卡、EMMC、Nor Flash 啟動,支持 DSI、HDMI 輸出顯示。 3. 支持 5V & 12V 電源輸入切換、Type-C 及 USB HOST 功能。 4. 支持 MIPI CSI Camera 輸入、M.2 接入其他外部模組。 5. 提供 i.MX 8 M 系列應用 DEMO ,方便客戶對各種應用算法進行移植。

技術文檔

類型標題檔案
軟件User Manual
軟件Datasheet
軟件Schematics
軟件PCB

相關影片

人脸识别演示视频_Kalpa_20201130.mp4

本视频主要介绍基于 NXP i.MX 8 MM 的硬件平台搭建及其运行人脸识别的实操演示。