基於NXP S32V234的疲勞監測、前方碰撞、車道偏離、全景監控Eagle Eye ADAS方案

本方案採用恩智浦的 S32V234 作為方案主晶片,S32V234是恩智浦第二代視覺處理器系列,旨在支援影像處理的計算密集型應用,並提供了一個ISP(可以支援 1080P )、強大的3D GPU、雙APEX-2(速率達 80GMACS)視覺加速器和安全性。S32V234 適用於ADAS、NCAP前視攝像頭、異物檢測和識別、環視、機器學習和感測器融合應用S32V234專為汽車級可靠性、功能安全和安全措施而設計,以支持汽車和工業自動化。

 

【1. 疲勞檢測演算法基本思路如下】
 識別 :Camera 輸入的圖像轉換成灰度圖像,通過進行人臉偵測,畫出人臉 ROI ,在人臉 ROI 中偵測人的眼睛,畫出人眼的 ROI ,計算眼睛 ROI 長條圖,計算長條圖平均值。
 判斷 :根據人閉眼的程度,提前預設一個閾值,系統檢測到人眼長條圖的平均值,一旦超出閾值就會報警。
 報警 :報警通過外接的蜂鳴器,發出聲音進行警告駕駛員。根據具體產品定義需要,甚至可以將該系統連接至車輛的中控系統,執行刹車、降速的操作。

1_1.場景應用圖_疲勞檢測

1_2. 產品實體圖_疲勞檢測

1_3. 演算法流程__疲勞檢測

 

【2. 前方碰撞(FCW)的演算法基本思路如下】
識別:Camera 輸入的圖像選擇對應的 ROI ,進行高斯濾波,並進行圖像灰度處理,然後對圖像進行二值化,通過圖像的膨脹、侵蝕動作,檢測到車輛的座標,並通過光流演算法計算跟前車的相對速度,得出相對距離。
判斷:當跟前車的距離低於預設的閾值時,系統會發出報警。
報警:報警可通過外接的蜂鳴器,發出聲音進行警告駕駛員。根據具體產品定義需要,甚至可以將該系統連接至車輛的中控系統,執行刹車、降速的操作。

2_1. 場景應用圖_前方碰撞(FCW)

2_2. 產品實體圖_前方碰撞(FCW)

2_3. 演算法流程__前方碰撞(FCW)

 

【3. 車道偏離(LDW)的演算法基本思路如下】
識別:Camera 輸入的圖像轉換成灰度圖像,通過對灰度圖像進行二值化,轉成鳥瞰視圖,下一步進行 Sobel 濾波以及中值濾波,然後進行 Hough 演算法,計算出車道線在圖像中的座標值。
判斷:根據車道線的座標,計算中心值,跟車輛的中心座標進行比對,當車輛中心的座標值位於車道線中心右側時,代表車輛往右側偏移,當偏離的距離超過一定的閾值時,發出報警。反之向左側偏移,處理方式跟右側一致。
報警:報警可通過外接的蜂鳴器,發出聲音進行警告駕駛員。根據具體產品定義需要,甚至可以將該系統連接至車輛的中控系統,執行刹車、降速的操作。

3_1. 場景應用圖_車道偏離

3_2. 產品實體圖_車道偏離

3_3. 演算法流程_車道偏離

【4. 全景監控的演算法基本思路如下】
魚眼校正:選擇黑白相間的棋盤圖放於 Camera 的拍攝區,對拍攝到的棋盤圖進行灰度處理,找到相應的角點,並進行校準,最後得出逆矩陣,並測試校正後的圖像效果。
圖像拼接:對校正後的 4 幅圖像,根據需要進行 resize ,提取圖像的相關特徵,根據抓取的特徵點進行特徵匹配,然後進行波浪校正和縮放校正,獲得圖像的校正參數,接著進行圖像的透視變換,獲得鳥瞰圖,最後進行曝光補償,圖像融合相關處理。
圖像顯示:經過拼接的圖像通過 HDMI 傳輸到顯示幕。

4_1. 場景應用圖_全景監控

4_2. 演算法流程__全景監控

圖像資料流基本過程:首先 Camera 獲取的每一幀圖像經過 ISP 的初步預處理,然後 ISP 將圖像存放到系統的 DDR 中,APEX 的調度程式從 DDR 獲取對應的圖像,由於 APEX 是平行計算單元,每一幀圖像會被切割成一定的局部尺寸給 APEX 的每個 CU 進行計算,APEX 的128 個 CU 同時進行計算,APEX 主要負責特徵檢測、長條圖計算功能。

  同場加映   NXP ADAS技術熱點 >> 看所有相關方案+問答+博文

►場景應用圖

►產品實體圖

►展示板照片

►方案方塊圖

►方案方塊圖_2

►核心技術優勢

① 有人臉偵測及人眼分析技術,測駕駛員臉部特徵,判斷是否處於疲勞狀態,測到疲勞駕駛時發出報警功能。 ② 具有前車偵測及分析技術,檢測前車的輪廓,並計算跟前車的距離,跟前車距離低於預設的閾值時,發出報警功能。 ③ 具有車道線識別分析技術,檢測車輛行駛時,是否偏離車道線,當檢測到偏離車道線時發出報警功能。 ④ 支援 4 路 1080p 的廣角攝像頭圖像輸入,可以將 4 路攝像頭的圖像進行拼接,實現 AVM 功能。 ⑤ 支援魚眼校正功能,不同的攝像頭校正參數會不一樣。 ⑥ 可以將視頻進行 H264 編碼,並儲存影像資料。

►方案規格

① 供現成的 S32V EVM 板子,可以直接通過網站購買,方便客戶快速入門。 ② EVM 板預留 MIPI 介面,供客戶搭配不同的攝像頭進行效果測試。 ③ 提供基本的流程及實現思路,方便客戶評估方案性能。 ④ 提供 APEX DEMO ,方便客戶理解 APEX 開發流程,將演算法移植到 S32V APEX 核。 ⑤ 提供基本的駕駛員疲勞檢測演算法、車道偏移預警演算法、車道偏移預警演算法、AVM 演算法流程及實現思路,方便客戶評估方案性能。

技術文檔

類型標題檔案
軟件Application Note
軟件Datasheet
軟件Safety manual