[你快乐吗?我很快乐]基于NXP i.MX8M PLUS结合FaceMe®的AI人脸辨识解决方案

现在全球最流行的话题,一个是5G,另一个则是AI (人工智能)。而AI (人工智能)目前最成熟,最广泛的运用,则是”人脸识别”。

做到AI人脸识别,已经不是很特别的技术了。现在大家比的AI人脸识别的功能:
1. 人脸识别的准确性
2. 人脸识别的实际运用
3. 人脸识别的速度

首先,人脸识别的准确性部分Cyberlink 提供了AI人脸辨识技术” FaceMe®”,其准确性为AI人脸辨识生态系的领导者。在美国国家标准暨技术研究院(NIST)的报告中,Cyberlink的FaceMe®为全球的前20领先者。
(资料来源: Cyberlink)
(资料来源: Cyberlink)

FaceMe®采用深度学习类神经网路算法打造,在10-4误认率(FAR)下,可提供高达99.7%的正确辨识率(TAR, True Acceptance Rate)。Cyberlink的FaceMe®人脸辨识的精准度如下:

(资料来源: Cyberlink)

除了,人脸识别的准确性之外,人脸识别后的实际运用也格外重要。Cyberlink的FaceMe®在人脸识别时,同时也可以支援”脸部属性撷取”与 ”情绪侦测”
另外,因为COVID-19的环境下,Cyberlink的FaceMe®也研发出” 口罩侦测与口罩下的人脸识别”

(资料来源: Cyberlink)
A.口罩侦测与口罩下的人脸识别
凭借AI技术,FaceMe®可有效辨别民众是否戴着口罩,或口鼻露出、使用其他物品遮住口鼻等非正确配戴状况。此功能可应用在许多依规定须配戴口罩才能进入的场所,例如商场,医院和火车站等人流众多的公共空间。
即便配戴口罩,FaceMe®也可借由面部特征将人脸与资料库的身份进行比对,在配戴口罩也需要身份辨识的场合,例如医院,FaceMe®可透过此辨识的方式来判别身份,可大幅减少须取下口罩之风险及不便。例如公司门禁系统,FaceMe®可在戴口罩下辨别是否是公司员工。

B.脸部属性撷取与情绪侦测
脸部属性撷取可以撷取到性别、年纪、情绪及脸部摆动角度。情绪侦测可以侦测到开心、伤心、生气、惊讶及平静。此功能可应用在许多数位广告看板上,依照不同的性别年纪推播合适的广告内容。并透过情绪的侦测,了解拨放广告内容是否符合需求,或是再进一步调整广告内容,进而达到广告的最大效益。

针对人脸识别的速度,这跟”硬件平台”有绝对的相关。若是硬件平台,包含类神经网路加速器,这样可以让人工智能的推论更顺畅。另外,硬件平台内的CPU/GPU核心有更多的资源来做其他运用。
在这跟大家介绍NXP最新的i.MX产品— i.MX8M PLUS (包含NPU--神经网路加速器与ISP—影像讯号处理器)


i.MX8M PLUS:i.MX8M Plus面向智能世界的边缘智能,机器学习和视觉。 应用处理器在机器学习(ML),视觉,高级多媒体和工业IoT应用方面表现出色。
i.MX 8M Plus处理器可提升边缘智能,是智能家居,智能城市,工业4.0及更高版本的绝佳基础。


主要功能如下:
A. 机器学习(Machine Learning)
             -- 恩智浦第一个将”NPU(类神经网路加速器)”包进i.MX的产品线。NPU(类神经网路加速器)的能力,可以达到2.3TOPS,适用于终端的人工智能产品。
B. 影像讯号处理器(ISP)
             -- 恩智浦第一个将”ISP(影像讯号处理器)”包进i.MX的产品线。影像讯号处理器(ISP)的能力,可以达到350MPixel/S。
C. 多媒体(Multimedia)
             -- 拥有许多的多媒体界面。在影像方面,有HDMI的输出,包含eARC的音源通道。并包含硬件的的解码(Decode)与编码(Encode)器,可以达到1080P的分辨率。解码(Decode)与编码(Encode)技术为H.264与H.265。
D. 工控网路接口(Networking)
             -- 拥有两个Gigabit的Ethernet 接口,一个可以支持TSN(Time sensitivity network)。一个可以支持AVB(Audio Video Bridge)。另外也支持工控常用的接口”CAN-FD”。
E. 高性能(Performance)
             -- 在i.MX8M PLUS中包含了4个A53的核心,达到1.8GHz的频率。也就是运算能力可以达到21600 DMIPS。另外,也包含了M7(800MHz)的MCU核心,让使用者有更多运用。

(资料来源: NXP)

i.MX 8M PLUS产品衍生产品:
 (资料来源: NXP)

系统整合:

品佳拥有强而有力的技术支援部门,可以帮助客人。将恩智浦的硬件i.mx8m plus结合讯连科技的FaceMe的SDK,运用人脸识别的技术,将其完美的于"智慧家居","智慧零售","智慧城市"的相关产品上。
在恩智浦的硬件i.mx8m plus还在工程模式(Enginner sample)时,品佳技术团队就参于其中,从中学习到i.mx8m plus中新的核心技术。例如,NPU(类神经加速单元),ISP(影像讯号处理单元)。

在系统整合上,我们可以将带有ISP(影像讯号处理单元)的摄像模组(Camera Module),与i.mx8m plus完美结合。例如:Ov5640的摄像模组。
我们也可以将不带ISP(影像讯号处理单元)的摄像模组(Camera Module),利用i.mx8m plus内建的ISP(影像讯号处理单元)将CMOS Ssensor影像处理之后,再将影像完美结合。例如:AR0821的摄像模组。
不论客户选择Ov5640的摄像模组,或是AR0821的摄像模组,都可以快速的系统中完美运作。
当然,客户或许在摄像模组上有着其他的偏好,或是惯用料件。品佳秉持着对i.mx8m plus的了解,也可协帮助客户,将其摄像模组完美结合于i.mx8m plus。

除此之外(硬件),软件部分:品佳对于i.mx8m plus的底层架构充分了解。可以协助客人,将周边装置(Device Tree)打通,完整使用到i.mx8m plus的所有功能。
另外,不管是Linux的作业系统,或是Android的作业系统,品佳的技术团队都可以提供更好的支持。

i.mx8m plus在与讯连科技FaceMe的SDK结合,品佳即扮演了整合的角色。
品佳分享与提供i.mx8m plus的硬体/韧体接口,让讯连科技FaceMe的SDK在帮助可以与摄像模组沟通得到正确的影像讯号。
并运用i.mx8m plus内部的类神经加速单元(NPU)来执行AI的运算,大幅提升AI的人脸辨识效能。另外也可以减低CPU的处理,将CPU效能充分用在其他的运用上。

以下为i.mx8m plus结合讯连科技的FaceMe的SDK的AI人脸辨识(性别/年龄/心情/口罩)




►场景应用图

►展示板照片

►方案方块图

►核心技术优势

i.mx8m plus 1. 机器学习(Machine Learning)--达到2.3TOPS 2. 影像讯号处理器(ISP)--达到每秒350MPixel 3. 多媒体(Multimedia)--硬件编码/解码器 4. 工控网路接口(Networking)--支持TSN(Time sensitivity network) /AVB(Audio Video Bridge) 网路 5. 高性能(Performance)--4个1.8GHz A53的核心,运算能力可以达到21600 DMIPS FaceMe: 1. 人脸识别的准确性--99.7% 2. 脸部属性撷取”与 ”情绪侦测" --性别/ 年龄/心情 3. 口罩侦测

►方案规格

处理器(MPU): NXP i.mx8m plus 摄像模组(Camera Module) : OV5640 摄像模组 显示器(Display): HDMI out (由NXP i.mx8m plus直接输出) 作业系统: Android Q10 人脸辨识SDK: 讯连 FaceMe