【Sky Eye 開闊未來】Sky Eye 架設指南

一.   概述

上一篇文章介紹了 ” 雙目立體視覺前車偵測算法大公開(下)＂ ，闡明雙目立體視覺前車偵測的算法流程與結果 ！相信藉由此系列的介紹，各位也能做出雙目立體視覺前車偵測 !! 接下來，此文章為 ＂Sky Eye 架設指南＂，開始進入到實際開發的篇章(綠色章節)，會說明實際開發過程中所遇到的問題，首先介紹什麼是 Sky Eye 開發板 ? 該如何架設 ? 該如何適當運用晶片內的核心 ?

世平集團 ATU 團隊精心設計的一套 Sky Eye 開發版，幫助我們一同開闊未來 !!  
大大通精彩方案    開闢未來_雙目立體視覺帶你進入 FCW  & LDW 新視野

 

 

二.   開發環境

雙目立體視覺前車偵測的開發環境為世平興業 WPI 所提供的一套 Sky Eye 開發版(如下圖所示)，此開發版配置一顆 NXP S32V234 Chip ( 4x Cortex-A53 1 GHz, Dual APEX-2, 3D GPU, ISP, Support ISO26262), 以及 LPDDR3 2GB 16bit RAM, 並搭配相距 30 公分的 MIPI CSI2 的鏡頭接口，能使得兩鏡頭之間的視差變得明顯、偵測車輛距離更遠。除此之外，亦有支持 HDMI、 Ethernet 、 SD Card、 URAT 等周邊接口能幫助開發更加快速。

 

Sky Eye 開發版示意圖

 

Sky Eye 開發板之主要晶片為 NXP S32V234，搭配四顆 A53 晶片以及獨有的 圖像處理器 ISP 與 視覺加速器 APEX 來加快演算法的運行速度，使得 ADAS 開發與實現更加廣泛。後續，將會介紹雙目立體視覺前車偵測是如何運用這兩顆核心(如下流程圖標註之處)。

***  S32V234 是顆符合車用規範 ISO26262 的晶片能縮短車用規範認證之時間

S32V234 硬體架構示意圖

 

三.   架設方式

目前的開發環境是以 Sky Eye 開發板搭配 SONY IM224 鏡頭，進行錄側與算法實現。並實際安裝於車內的後視鏡上，並盡可能的貼齊於擋風玻璃，以減少反光折射之影響。必須注意的事，兩鏡頭架設是否保持垂持或是同一水平面上。如下圖所示，Sky Eye 開發板架設方式。

 

Sky Eye 開發板架構方式示意圖

 

四.   硬體核心運用方式 

如上一篇文章所介紹的雙目立體視覺前車偵測算法流程，如下圖所示，這裡將說明如何善用硬體核心來加速算法，請注意該流程圖內的小括弧，首先會使用 S32V234 內的 ISP 核心，解析鏡頭傳感器的訊號，並由 debayer 與 3A 算法取得各個鏡頭的彩色影像。取得影像後，即可透過標定法估算之校正參數進行魚眼校正和雙目視覺校正，若是鏡頭影像畸變程度小則可略過。接著，將利用 APEX 核心轉換色彩空間，取得灰階影像後，即可將兩顆鏡頭的影像進行區塊比較算法來獲得視差影像(Disparity)。最後，善用 APEX 的函式並適當運用於車道偏移偵測與前車偵測算法，來加速算法。

*** 車道偏移偵測與前車偵測部分算法有運用 APEX Kernel 實現算法加速。

雙目立體視覺前車偵測演算流程之示意圖

 

舉例來說，在影像大小為 2048x2048 的全彩影像上，將彩色影像轉換成灰階影像，使用 ARM 運行時間須 37.51 ms ，而 APEX 核心運行時間僅須 15.73 ms ，縮短了 58% 的運行時間。若執行大量矩陣相關的算法，效益更明顯 ; 像是執行 卷積運算，最多可縮減到 93% 的運算時間。故適當運用 APEX 核心執行算法是非常重要的一件事情 !! 下一篇文章 “  Sky Eye 開發錦囊 (上) “，將分享 Sky Eye 開發過程中所遇到問題與迷思 !!

 

五.  參考文件

[1] 每日頭條網站 - 雙目立體視覺技術的實現
[2] 每日頭條網站 - 雙目立體視覺測量系統應用
[3] 每日頭條網站 - ADAS單目/雙目/三目到底有什麼區別？
[4] 維基百科 - Block-matching algorithm
[5] 論文 - Performance Analysis between Basic Block Matching and Dynamic Programming of Stereo Matching Algorithm
[6] 教材 - Stereo Vision by Professor Fei-Fei Li
[7] 維基百科 - Epipolar geometry
[8] 維基百科 - 單應性
[9] 論文 - A Flexible New Technique for Camera Calibration
[10] 數學工廠 - Camera Calibration 相機校正
[11] CSDN - 雙目測距(雙目標定、雙目校正和立體匹配)
[12] 官方網站 – GNU Octave
[13] 官方網站 – Camera Calibration Toolbox for Matlab
[14] 維基百科 - Hough transform
[15] 論文 - Chong-Wei Li , Jui-Cheng Yen and Hun-Chen Chen, "Safe Driving Monitoring System", June. 2014.
[16] 論文 - Hernán Badino, Uwe Franke, David Pfeiffer, ”The Stixel World - A Compact Medium Level Representation of the 3D-World”, September 2009
[17] 數據邦 - 雙目的終極奧義：Stixel柱狀像素

如有任何相關 雙目立體視覺(Stereo Vision) 技術問題，歡迎至博文底下留言提問 !!
接下來還會分享更多 雙目立體視覺(Stereo Vision) 的技術文章 !!敬請期待 【Sky Eye 開闊未來】 !!