Panda 方案採用恩智浦的 S32V234 作為方案主晶片,S32V234是恩智浦第二代視覺處理器系列,旨在支援影像處理的計算密集型應用,並提供了一個ISP(可以支援 1080P )、強大的3D GPU、雙APEX-2(速率達 80GMACS)視覺加速器和安全性。S32V234 適用於ADAS、NCAP前視攝像頭、異物檢測和識別、環視、機器學習和感測器融合應用。S32V234專為汽車級可靠性、功能安全和安全措施而設計,以支持汽車和工業自動化。Panda 方案预留了两路 MIPI 接口,一个 LVDS 视频输出接口,以及 SD 卡座,以太网,USB,CAN,JTAG等丰富的外围接口。
【1. 疲勞檢測演算法基本思路如下】
識別 :Camera 輸入的圖像轉換成灰度圖像,通過進行人臉偵測,畫出人臉 ROI ,在人臉 ROI 中偵測人的眼睛,畫出人眼的 ROI ,計算眼睛 ROI 長條圖,計算長條圖平均值。
判斷 :根據人閉眼的程度,提前預設一個閾值,系統檢測到人眼長條圖的平均值,一旦超出閾值就會報警。
報警 :通過外接的蜂鳴器,發出聲音進行警告駕駛員。根據具體產品定義需要,甚至可以將該系統連接至車輛的中控系統,執行刹車、降速的操作。
1_1.場景應用圖_疲勞檢測

1_2. 產品實體圖_疲勞檢測

1_3. 演算法流程__疲勞檢測

【2. 前方碰撞(FCW)的演算法基本思路如下】
識別:Camera 輸入的圖像選擇對應的 ROI ,進行高斯濾波,並進行圖像灰度處理,然後對圖像進行二值化,通過圖像的膨脹、侵蝕動作,檢測到車輛的座標,並通過光流演算法計算跟前車的相對速度,得出相對距離。
判斷:當跟前車的距離低於預設的閾值時,系統會發出報警。
報警:可通過外接的蜂鳴器,發出聲音進行警告駕駛員。根據具體產品定義需要,甚至可以將該系統連接至車輛的中控系統,執行刹車、降速的操作。
2_1. 場景應用圖_前方碰撞(FCW)
2_2. 產品實體圖_前方碰撞(FCW)

2_3. 演算法流程__前方碰撞(FCW)

【3. 車道偏離(LDW)的演算法基本思路如下】
識別:Camera 輸入的圖像轉換成灰度圖像,通過對灰度圖像進行二值化,轉成鳥瞰視圖,下一步進行 Sobel 濾波以及中值濾波,然後進行 Hough 演算法,計算出車道線在圖像中的座標值。
判斷:根據車道線的座標,計算中心值,跟車輛的中心座標進行比對,當車輛中心的座標值位於車道線中心右側時,代表車輛往右側偏移,當偏離的距離超過一定的閾值時,發出報警。反之向左側偏移,處理方式跟右側一致。
報警:可通過外接的蜂鳴器,發出聲音進行警告駕駛員。根據具體產品定義需要,甚至可以將該系統連接至車輛的中控系統,執行刹車、降速的操作。
3_1. 場景應用圖_車道偏離


3_2. 產品實體圖_車道偏離
3_3. 演算法流程_車道偏離

【4. 全景監控的演算法基本思路如下】
魚眼校正:選擇黑白相間的棋盤圖放於 Camera 的拍攝區,對拍攝到的棋盤圖進行灰度處理,找到相應的角點,並進行校準,最後得出逆矩陣,並測試校正後的圖像效果。
圖像拼接:對校正後的 4 幅圖像,根據需要進行 resize ,提取圖像的相關特徵,根據抓取的特徵點進行特徵匹配,然後進行波浪校正和縮放校正,獲得圖像的校正參數,接著進行圖像的透視變換,獲得鳥瞰圖,最後進行曝光補償,圖像融合相關處理。
圖像顯示:經過拼接的圖像通過 LVDS 傳輸到顯示屏。
4_1. 場景應用圖_全景監控


4_2. 演算法流程__全景監控


圖像資料流基本過程:首先 Camera 獲取的每一幀圖像經過 ISP 的初步預處理,然後 ISP 將圖像存放到系統的 DDR 中,APEX 的調度程式從 DDR 獲取對應的圖像,由於 APEX 是平行計算單元,每一幀圖像會被切割成一定的局部尺寸給 APEX 的每個 CU 進行計算,APEX 的128 個 CU 同時進行計算,APEX 主要負責特徵檢測、長條圖計算功能。
展示板照片
