基于NXP S32V234 的疲劳监测、前方碰撞、车道偏离、全景监控 之 Panda ADAS 方案

Panda 方案采用恩智浦的 S32V234 作为方案主芯片,S32V234是恩智浦第二代视觉处理器系列,旨在支援影像处理的计算密集型应用,并提供了一个ISP(可以支援 1080P )、强大的3D GPU、双APEX-2(速率达 80GMACS)视觉加速器和安全性。S32V234 适用于ADASNCAP前视摄像头、异物检测和识别、环视、机器学习和感测器融合应用S32V234专为汽车级可靠性、功能安全和安全措施而设计,以支持汽车和工业自动化。Panda 方案预留了两路 MIPI 接口,一个 LVDS 视频输出接口,以及 SD 卡座,以太网,USBCANJTAG等丰富的外围接口。

 

1. 疲劳检测算法基本思路如下】
 
识别 Camera 输入的图像转换成灰度图像,通过进行人脸侦测,画出人脸 ROI ,在人脸 ROI 中侦测人的眼睛,画出人眼的 ROI ,计算眼睛 ROI 长条图,计算长条图平均值。
 
判断 :根据人闭眼的程度,提前预设一个阈值,系统检测到人眼长条图的平均值,一旦超出阈值就会报警。
 
报警 :通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。

1_1.场景应用图_疲劳检测

 

1_2. 产品实体图_疲劳检测

 

1_3. 算法流程__疲劳检测

 

 

2. 前方碰撞(FCW)的算法基本思路如下】
识别Camera 输入的图像选择对应的 ROI ,进行高斯滤波,并进行图像灰度处理,然后对图像进行二值化,通过图像的膨胀、侵蚀动作,检测到车辆的座标,并通过光流算法计算跟前车的相对速度,得出相对距离。
判断:当跟前车的距离低于预设的阈值时,系统会发出报警。
报警:可通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。

2_1. 场景应用图_前方碰撞(FCW
2_2. 产品实体图_前方碰撞(FCW

 

2_3. 算法流程__前方碰撞(FCW

 

 

3. 车道偏离(LDW)的算法基本思路如下】
识别Camera 输入的图像转换成灰度图像,通过对灰度图像进行二值化,转成鸟瞰视图,下一步进行 Sobel 滤波以及中值滤波,然后进行 Hough 算法,计算出车道线在图像中的座标值。
判断:根据车道线的座标,计算中心值,跟车辆的中心座标进行比对,当车辆中心的座标值位于车道线中心右侧时,代表车辆往右侧偏移,当偏离的距离超过一定的阈值时,发出报警。反之向左侧偏移,处理方式跟右侧一致。
报警:可通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。

3_1. 场景应用图_车道偏离

 

 

3_2. 产品实体图_车道偏离

 

3_3. 算法流程_车道偏离

 

4. 全景监控的算法基本思路如下】
鱼眼校正:选择黑白相间的棋盘图放于 Camera 的拍摄区,对拍摄到的棋盘图进行灰度处理,找到相应的角点,并进行校准,最后得出逆矩阵,并测试校正后的图像效果。
图像拼接:对校正后的 4 幅图像,根据需要进行 resize ,提取图像的相关特征,根据抓取的特征点进行特征匹配,然后进行波浪校正和缩放校正,获得图像的校正参数,接着进行图像的透视变换,获得鸟瞰图,最后进行曝光补偿,图像融合相关处理。
图像显示:经过拼接的图像通过 LVDS 传输到显示屏。

4_1. 场景应用图_全景监控

 

 

 

4_2. 算法流程__全景监控

 

 

图像资料流基本过程:首先 Camera 获取的每一帧图像经过 ISP 的初步预处理,然后 ISP 将图像存放到系统的 DDR 中,APEX 的调度程式从 DDR 获取对应的图像,由于 APEX 是平行计算单元,每一帧图像会被切割成一定的局部尺寸给 APEX 的每个 CU 进行计算,APEX 128 CU 同时进行计算,APEX 主要负责特征检测、长条图计算功能。

  

展示板照片

   

Panda 开发套件在大大购网站的购买链接

 

  同场加映   NXP ADAS技术热点 >> 看所有相关方案+问答+博文


►场景应用图

►展示板照片

►方案方块图

►核心技术优势

① 具有人脸侦测及人眼分析技术,测驾驶员脸部特征,判断是否处于疲劳状态,测到疲劳驾驶时发出报警功能。 ② 具有前车侦测及分析技术,检测前车的轮廓,并计算跟前车的距离,跟前车距离低于预设的阈值时,发出报警功能。 ③ 具有车道线识别分析技术,检测车辆行驶时,是否偏离车道线,当检测到偏离车道线时发出报警功能。 ④ 最多支持 8 路的摄像头图像同时输入,可以将输入的图像进行拼接,实现 AVM 功能。 ⑤ 支援鱼眼校正功能。 ⑥ 可以将视频进行 H264 编码,并储存影像资料。

►方案规格

① Panda 方案开发套件可以直接通过大大购网站购买,方便客户快速入门。 ② 预留两路 MIPI 接口,供客户搭配不同的摄像头进行效果测试。 ③ 预留一个 LVDS 视频输出接口,以及 SD 卡座,以太网,USB,CAN,JTAG 等丰富的外围接口,方便客户调试。 ④ 提供 APEX DEMO ,方便客户理解 APEX 开发流程,将算法移植到 S32V APEX 核。 ⑤ 提供基本的驾驶员疲劳检测算法、车道偏移预警算法、车道偏移预警算法、AVM 算法流程及实现思路,方便客户评估方案性能。

技术文档

类型标题档案
硬件Datasheet