[你快樂嗎?我很快樂]基於NXP i.MX8M PLUS結合FaceMe®的AI人臉辨識解決方案

現在全球最流行的話題,一個是5G,另一個則是AI (人工智慧)。而AI (人工智慧)目前最成熟,最廣泛的運用,則是”人臉識別”。

做到AI人臉識別,已經不是很特別的技術了。現在大家比的AI人臉識別的功能:
1. 人臉識別的準確性
2. 人臉識別的實際運用
3. 人臉識別的速度

首先,人臉識別的準確性部分Cyberlink 提供了AI人臉辨識技術” FaceMe®”,其準確性為AI人臉辨識生態系的領導者。在美國國家標準暨技術研究院(NIST)的報告中,Cyberlink的FaceMe®為全球的前20領先者。
(資料來源: Cyberlink)
(資料來源: Cyberlink)

FaceMe®採用深度學習類神經網路演算法打造,在10-4誤認率(FAR)下,可提供高達99.7%的正確辨識率(TAR, True Acceptance Rate)。Cyberlink的FaceMe®人臉辨識的精準度如下:

(資料來源: Cyberlink)

除了,人臉識別的準確性之外,人臉識別後的實際運用也格外重要。Cyberlink的FaceMe®在人臉識別時,同時也可以支援”臉部屬性擷取”與 ”情緒偵測”
另外,因為COVID-19的環境下,Cyberlink的FaceMe®也研發出” 口罩偵測與口罩下的人臉識別”

(資料來源: Cyberlink)
A.口罩偵測與口罩下的人臉識別
憑藉AI技術,FaceMe®可有效辨別民眾是否戴著口罩,或口鼻露出、使用其他物品遮住口鼻等非正確配戴狀況。此功能可應用在許多依規定須配戴口罩才能進入的場所,例如商場,醫院和火車站等人流眾多的公共空間。
即便配戴口罩,FaceMe®也可藉由面部特徵將人臉與資料庫的身分進行比對,在配戴口罩也需要身分辨識的場合,例如醫院,FaceMe®可透過此辨識的方式來判別身分,可大幅減少須取下口罩之風險及不便。例如公司門禁系統,FaceMe®可在戴口罩下辨別是否是公司員工。

B.臉部屬性擷取與情緒偵測
臉部屬性擷取可以擷取到性別、年紀、情緒及臉部擺動角度。情緒偵測可以偵測到開心、傷心、生氣、驚訝及平靜。此功能可應用在許多數位廣告看板上,依照不同的性別年紀推播合適的廣告內容。並透過情緒的偵測,了解撥放廣告內容是否符合需求,或是再進一步調整廣告內容,進而達到廣告的最大效益。

針對人臉識別的速度,這跟”硬件平台”有絕對的相關。若是硬件平台,包含類神經網路加速器,這樣可以讓人工智慧的推論更順暢。另外,硬件平台內的CPU/GPU核心有更多的資源來做其他運用。
在這跟大家介紹NXP最新的i.MX產品— i.MX8M PLUS (包含NPU--神經網路加速器與ISP—影像訊號處理器)


i.MX8M PLUS:i.MX8M Plus面向智能世界的邊緣智能,機器學習和視覺。 應用處理器在機器學習(ML),視覺,高級多媒體和工業IoT應用方面表現出色。
i.MX 8M Plus處理器可提升邊緣智能,是智能家居,智能城市,工業4.0及更高版本的絕佳基礎。


主要功能如下:
A. 機器學習(Machine Learning)
             -- 恩智浦第一個將”NPU(類神經網路加速器)”包進i.MX的產品線。NPU(類神經網路加速器)的能力,可以達到2.3TOPS,適用於終端的人工智慧產品。
B. 影像訊號處理器(ISP)
             -- 恩智浦第一個將”ISP(影像訊號處理器)”包進i.MX的產品線。影像訊號處理器(ISP)的能力,可以達到350MPixel/S。
C. 多媒體(Multimedia)
             -- 擁有許多的多媒體介面。在影像方面,有HDMI的輸出,包含eARC的音源通道。並包含硬件的的解碼(Decode)與編碼(Encode)器,可以達到1080P的解析度。解碼(Decode)與編碼(Encode)技術為H.264與H.265。
D. 工控網路接口(Networking)
             -- 擁有兩個Gigabit的Ethernet 接口,一個可以支持TSN(Time sensitivity network)。一個可以支持AVB(Audio Video Bridge)。另外也支持工控常用的接口”CAN-FD”。
E. 高性能(Performance)
             -- 在i.MX8M PLUS中包含了4個A53的核心,達到1.8GHz的頻率。也就是運算能力可以達到21600 DMIPS。另外,也包含了M7(800MHz)的MCU核心,讓使用者有更多運用。

(資料來源: NXP)

i.MX 8M PLUS產品衍生產品:
 (資料來源: NXP)

系統整合:

品佳擁有強而有力的技術支援部門,可以幫助客人。將恩智浦的硬件i.mx8m plus結合訊連科技的FaceMe的SDK,運用人臉識別的技術,將其完美的於"智慧家居","智慧零售","智慧城市"的相關產品上。
在恩智浦的硬件i.mx8m plus還在工程模式(Enginner sample)時,品佳技術團隊就參於其中,從中學習到i.mx8m plus中新的核心技術。例如,NPU(類神經加速單元),ISP(影像訊號處理單元)。

在系統整合上,我們可以將帶有ISP(影像訊號處理單元)的攝像模組(Camera Module),與i.mx8m plus完美結合。例如:Ov5640的攝像模組。
我們也可以將不帶ISP(影像訊號處理單元)的攝像模組(Camera Module),利用i.mx8m plus內建的ISP(影像訊號處理單元)將CMOS Ssensor影像處理之後,再將影像完美結合。例如:AR0821的攝像模組。
不論客戶選擇Ov5640的攝像模組,或是AR0821的攝像模組,都可以快速的系統中完美運作。
當然,客戶或許在攝像模組上有著其他的偏好,或是慣用料件。品佳秉持著對i.mx8m plus的了解,也可協幫助客戶,將其攝像模組完美結合於i.mx8m plus。

除此之外(硬件),軟件部分:品佳對於i.mx8m plus的底層架構充分了解。可以協助客人,將周邊裝置(Device Tree)打通,完整使用到i.mx8m plus的所有功能。
另外,不管是Linux的作業系統,或是Android的作業系統,品佳的技術團隊都可以提供更好的支持。

i.mx8m plus在與訊連科技FaceMe的SDK結合,品佳即扮演了整合的角色。
品佳分享與提供i.mx8m plus的硬體/韌體接口,讓訊連科技FaceMe的SDK在幫助可以與攝像模組溝通得到正確的影像訊號。
並運用i.mx8m plus內部的類神經加速單元(NPU)來執行AI的運算,大幅提升AI的人臉辨識效能。另外也可以減低CPU的處理,將CPU效能充分用在其他的運用上。

以下為i.mx8m plus結合訊連科技的FaceMe的SDK的AI人臉辨識(性別/年齡/心情/口罩)




►場景應用圖

►展示板照片

►方案方塊圖

►核心技術優勢

i.mx8m plus 1. 機器學習(Machine Learning)--達到2.3TOPS 2. 影像訊號處理器(ISP)--達到每秒350MPixel 3. 多媒體(Multimedia)--硬件編碼/解碼器 4. 工控網路接口(Networking)--支持TSN(Time sensitivity network) /AVB(Audio Video Bridge) 網路 5. 高性能(Performance)--4個1.8GHz A53的核心,運算能力可以達到21600 DMIPS FaceMe: 1. 人臉識別的準確性--99.7% 2. 臉部屬性擷取”與 ”情緒偵測" --性別/ 年齡/心情 3. 口罩偵測

►方案規格

處理器(MPU): NXP i.mx8m plus 攝像模組(Camera Module) : OV5640 攝像模組 顯示器(Display): HDMI out (由NXP i.mx8m plus直接輸出) 作業系統: Android Q10 人臉辨識SDK: 訊連 FaceMe