基于NXP S32V234的疲劳监测、前方碰撞、车道偏离、全景监控Eagle Eye ADAS方案

本方案采用恩智浦的 S32V234 作为方案主芯片,S32V234是恩智浦第二代视觉处理器系列,旨在支持图像处理的计算密集型应用,并提供了一个ISP(可以支持 1080P )、强大的3D GPU、双APEX-2(速率达 80GMACS)视觉加速器和安全性。S32V234 适用于ADAS、NCAP前视摄像头、异物检测和识别、环视、机器学习和传感器融合应用S32V234专为汽车级可靠性、功能安全和安全措施而设计,以支持汽车和工业自动化。



 



【1. 疲劳检测算法基本思路如下】

 识别 :Camera 输入的图像转换成灰度图像,通过进行人脸侦测,画出人脸 ROI ,在人脸 ROI 中侦测人的眼睛,画出人眼的 ROI ,计算眼睛 ROI 直方图,计算直方图平均值。

 判断 :根据人闭眼的程度,提前预设一个阈值,系统检测到人眼直方图的平均值,一旦超出阈值就会报警。

 报警 :报警通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。



1_1. 场景应用图_疲劳检测





1_2. 产品实体图_疲劳检测





1_3. 算法流程__疲劳检测





 



【2. 前方碰撞(FCW)的算法基本思路如下】

识别:Camera 输入的图像选择对应的 ROI ,进行高斯滤波,并进行图像灰度处理,然后对图像进行二值化,通过图像的膨胀、侵蚀动作,检测到车辆的坐标,并通过光流算法计算跟前车的相对速度,得出相对距离。

判断:当跟前车的距离低于预设的阈值时,系统会发出报警。

报警:报警可通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。



2_1. 场景应用图_前方碰撞(FCW)





2_2. 产品实体图_前方碰撞(FCW)





2_3. 算法流程__前方碰撞(FCW)





 



【3. 车道偏离(LDW)的算法基本思路如下】

识别:Camera 输入的图像转换成灰度图像,通过对灰度图像进行二值化,转成鸟瞰视图,下一步进行 Sobel 滤波以及中值滤波,然后进行 Hough 算法,计算出车道线在图像中的坐标值。

判断:根据车道线的坐标,计算中心值,跟车辆的中心坐标进行比对,当车辆中心的坐标值位于车道线中心右侧时,代表车辆往右侧偏移,当偏离的距离超过一定的阈值时,发出报警。反之向左侧偏移,处理方式跟右侧一致。

报警:报警可通过外接的蜂鸣器,发出声音进行警告驾驶员。根据具体产品定义需要,甚至可以将该系统连接至车辆的中控系统,执行刹车、降速的操作。



3_1. 场景应用图_车道偏离







3_2. 产品实体图_车道偏离





3_3. 算法流程_车道偏离





 



【4. 全景监控的算法基本思路如下】

鱼眼校正:选择黑白相间的棋盘图放于 Camera 的拍摄区,对拍摄到的棋盘图进行灰度处理,找到相应的角点,并进行校准,最后得出逆矩阵,并测试校正后的图像效果。

图像拼接:对校正后的 4 幅图像,根据需要进行 resize ,提取图像的相关特征,根据抓取的特征点进行特征匹配,然后进行波浪校正和缩放校正,获得图像的校正参数,接着进行图像的透视变换,获得鸟瞰图,最后进行曝光补偿,图像融合相关处理。

图像显示:经过拼接的图像通过 HDMI 传输到显示屏。



4_1. 场景应用图_全景监控





4_2. 算法流程__全景监控







图像数据流基本过程:首先 Camera 获取的每一帧图像经过 ISP 的初步预处理,然后 ISP 将图像存放到系统的 DDR 中,APEX 的调度程序从 DDR 获取对应的图像,由于 APEX 是并行计算单元,每一帧图像会被切割成一定的局部尺寸给 APEX 的每个 CU 进行计算,APEX 的128 个 CU 同时进行计算,APEX 主要负责特征检测、直方图计算功能。



  同场加映   NXP ADAS技术热点 >> 看所有相关方案+问答+博文




场景应用图

sceneryUrl

产品实体图

imgUrl

展示版照片

frontUrlbackUrl

方案方块图

funcUrl

方案方块图_2

other1Url

核心技术优势

① 有人脸侦测及人眼分析技术,测驾驶员脸部特征,判断是否处于疲劳状态,测到疲劳驾驶时发出报警功能。 ② 具有前车侦测及分析技术,检测前车的轮廓,并计算跟前车的距离,跟前车距离低于预设的阈值时,发出报警功能。 ③ 具有车道线识别分析技术,检测车辆行驶时,是否偏离车道线,当检测到偏离车道线时发出报警功能。 ④ 支持 4 路 1080p 的广角摄像头图像输入,可以将 4 路摄像头的图像进行拼接,实现 AVM 功能。 ⑤ 支持鱼眼校正功能,不同的摄像头校正参数会不一样。 ⑥ 可以将视频进行 H264 编码,并储存影像资料。

方案规格

① 供现成的 S32V EVM 板子,可以直接通过网站购买,方便客户快速入门。 ② EVM 板预留 MIPI 接口,供客户搭配不同的摄像头进行效果测试。 ③ 提供基本的流程及实现思路,方便客户评估方案性能。 ④ 提供 APEX DEMO ,方便客户理解 APEX 开发流程,将算法移植到 S32V APEX 核。 ⑤ 提供基本的驾驶员疲劳检测算法、车道偏移预警算法、车道偏移预警算法、AVM 算法流程及实现思路,方便客户评估方案性能。

技术文档

类型标题档案
软件Application Note
软件Datasheet
软件Safety manual

相关视频

基于NXP S32V234 ADAS 高级辅助驾驶方案

由世平集团Auto-MPU技术专家Sonia Gong说明方案

若无法正常播放,请点击前往观看视频