【Sky Eye 開闊未來】雙目立體視覺前車偵測算法大公開(上)

一.   概述

上一篇文章介紹了 ” 詳細解說 ！Stixel 物件偵測法 ＂ ，闡述前車偵測主要核心概念與原理 ！以及是如何識別與偵測到車輛的概念說明。
接下來，此文章為 ＂ 雙目立體視覺前車偵測算法大公開 (上) ＂，亦屬於前車偵測的篇章(粉色章節)，會介紹前車偵測演算法所需要的基礎算法與原理，並配合 Stixel 概念來偵測出車輛 ! 讓整個雙目立體視覺前車偵測的流程更加清晰 !

此外，世平集團 ATU 團隊精心設計的一套 Sky Eye 開發版，幫助我們一同開闊未來 !!  
大大通精彩方案    開闢未來_雙目立體視覺帶你進入 FCW  & LDW 新視野

 

 


在進入下一個章節前，先闡述一下雙目立體視覺前車偵測演算法與原理可分為六大部分，分別為 改善視差影像、地面估算、移除天空、Stixel 物件偵測演算法、估算實際距離、Stixel 物件篩選

二.   基礎原理 - 改善視差影像(Imporve Disparity)

改善視差影像，顧名思義就是要改善從 區塊比較(BlockMatch, BM) 算法所取得到的視差影像。藉由一些基本的影像處理，讓視差影像內的特徵更加清楚或明顯。

視差影像構成之示意圖

 

這通常會以濾波器的概念，去強化特徵 ; 像是平均濾波器、中值濾波器、卷積濾波器等等去加強特徵。但這裡是利用替補的概念，去補強特徵，換句話說就是使用前一個視差值資訊去替代現行視差值資訊，其條件如下 :

 

從條件而論，就是當視差值大於 150 或是等於 0 時，則用前一個視差值替補。改善後的視差影像，如下圖所示，影像內的特徵變為更加柔和! 更重要的是補齊了地面與物件中的空洞，這能使後續的算法進行檢測物件時更加完善 !

 

改善後之視差影像示意圖

 

三.   基礎原理 - 地面估算(Estimation Ground)

經上述 Stixel 物件偵測演算法得知，須將場景分為天空、物體、地面三類。而在改視差影像後，即可進行 地面估算(Estimation Ground) 的動作，將以車道線斜率與消失線資訊進行地面偵測。

 

消失線與車道資訊之示意圖

 

此概念是結合斜率與視差，以消失點或消失點為作基準點，將視差值乘上車道線或地面的斜率。若小於預設值(default value) 則為地面，反之則為物體或天空。
換個角度思考，就是期望檢測的特徵點，所構成的視差值能盡可能地與地面平行，其公式如下 :

 

透過此概念即可取得影像中的地面資訊，同時也標記地面特徵。如下圖所示，分別是 移除地面資訊後的視差影像 與 僅有地面資訊的視差影像。

移除地面資訊之視差影像結果圖

 

僅有地面資訊之視差影像結果圖

 

*** 因篇幅緣故，故將雙目立體視覺前車偵測演算法拆成上、中、下解說。

此文章介紹了 改善視差影像 與 估算地面 兩種算法，其用意就是為了替 Stixel 物件偵測演算法所需的元素作鋪成。

如同 “ 詳細解說！ Stixel 物件偵測法 " 之中所介紹的， Stixel 長條資訊就須要從識別地面開始計算，直到偵測到天空為止，在這兩種場景之間的像素就屬於物件!
後續文章將繼續介紹  Stixel 物件偵測演算法運用於雙目立體視覺前車偵測所須的基礎原理，說明該算法是如何找到天空資訊，與如何建置 Stixel 物件 並計算實際距離。敬請期待 !!  “ 雙目立體視覺前車偵測算法大公開 (中) “

 

四.  參考文件

[1] 每日頭條網站 - 雙目立體視覺技術的實現
[2] 每日頭條網站 - 雙目立體視覺測量系統應用
[3] 每日頭條網站 - ADAS單目/雙目/三目到底有什麼區別？
[4] 維基百科 - Block-matching algorithm
[5] 論文 - Performance Analysis between Basic Block Matching and Dynamic Programming of Stereo Matching Algorithm
[6] 教材 - Stereo Vision by Professor Fei-Fei Li
[7] 維基百科 - Epipolar geometry
[8] 維基百科 - 單應性
[9] 論文 - A Flexible New Technique for Camera Calibration
[10] 數學工廠 - Camera Calibration 相機校正
[11] CSDN - 雙目測距(雙目標定、雙目校正和立體匹配)
[12] 官方網站 – GNU Octave
[13] 官方網站 – Camera Calibration Toolbox for Matlab
[14] 維基百科 - Hough transform
[15] 論文 - Chong-Wei Li , Jui-Cheng Yen and Hun-Chen Chen, "Safe Driving Monitoring System", June. 2014.
[16] 論文 - Hernán Badino, Uwe Franke, David Pfeiffer, ”The Stixel World - A Compact Medium Level Representation of the 3D-World”, September 2009
[17] 數據邦 - 雙目的終極奧義：Stixel柱狀像素

如有任何相關 雙目立體視覺(Stereo Vision) 技術問題，歡迎至博文底下留言提問 !!
接下來還會分享更多 雙目立體視覺(Stereo Vision) 的技術文章 !!敬請期待 【Sky Eye 開闊未來】 !!