一. 概述
上一篇文章介紹了 ” 雙目立體視覺前車偵測算法大公開 (中) ＂ ，因篇幅關係，故先行介紹雙目立體視覺前車偵測所須的算法與原理！接下來，此文章為 ＂ 雙目立體視覺前車偵測算法大公開 (下) ＂，亦屬於前車偵測的篇章(粉色章節)，會將前兩篇所需介紹的基礎算法與原理進行運用，並利用流程圖來說明算法流程與結果，帶領各位設計出 “雙目立體視覺前車偵測”，並偵測出車輛 !!
此外，世平集團 ATU 團隊精心設計的一套 Sky Eye 開發版，幫助我們一同開闊未來 !!
大大通精彩方案 開闢未來_雙目立體視覺帶你進入 FCW & LDW 新視野
雙目立體視覺技術指南 (前車偵測) - 文章架構示意圖
透過上兩篇的基礎原理介紹，大致上已經構成前車偵測的主要元素，接下來就是將上述原理概念運用至實際的算法上。
二. 演算流程 - 雙目立體視覺前車偵測(Stereo Vision Front Collision Warning)
依照此系列所介紹的雙目立體視覺、車道偏移偵測、前車偵測篇章，即可統整雙目立體視覺前車偵測的演算流程，如下圖所示，大致上可以分為五個動作。第一步取得兩顆鏡頭的影像，亦或是使用讀取影片和影像方式。接著，第二步進行雙目視覺校正，以修正影像因光學特性而導致的畸變。第三步建立視差影像，即透過上述所介紹的雙目視覺演算法之原理，計算出兩張影像所構成的視差(Disparity)，這裡稱 視差影像(藍色方塊) 。後續，第四步就可以利用 車道偏移偵測篇章 所介紹的算法來實現 車道偏移偵測(橘色方塊) ，就能找出影像中的車道線並標示。
雙目立體視覺前車偵測演算粗略流程之示意圖
最後，第五步則是利用前車偵測篇章，來實現 前車偵測算法(綠色方塊) ，並利用 Stixel 的概念從影像中偵測出車輛。
細節做法如下圖所示，為前車偵測的演算流程圖 ; 取得輸入視差影像後，進行改善視差影像動作，強化與補齊視差特徵。接著，進行 Stixel 物件偵測演算法 ; 將會先運用地面估算與移除天空的概念，將場景分類成天空、物件、地面三大類。再來，以 Stixel 的概念去統計成長條資訊，並以一對多索引的方式組成 Stixel 物件。即可開始篩選 Stixel 物件，就等同於偵測出車輛(物件)，與找出物件距離，最後以物件標記與建置彩色視差圖，補強視覺結果。
*** 雙目立體視覺前車偵測之警示方式暫不提供，本篇只闡述如何抓取車輛。
車道偏移偵測之演算流程圖
三. 演算結果 - 雙目立體視覺前車偵測(Stereo Vision Front Collision Warning)
在前方車輛偵測部分，透過雙目立體視覺原理與區塊比較算法即可算出視差影像。
接著，隨著算法流程開始運行改善視差影像、地面估算、移除天空等算法，即可將場景中的物件分類出來。
再來將統計 Stixel 資訊，並利用條件去篩選出車輛，如同下圖結果顯示即表示搜尋到前方車輛 !!
(目前 前車偵測系統，在影像尺寸 320x160 下能達到每秒 27 張 FPS )
雙目立體視覺之前車偵測之結果展現 :
*** 車道偏移偵測之結果如同下列展示，紅色線段為偵測之車道線段。
以上為雙目立體視覺前車偵測演算流程與結果展示，可發現最遠能偵測車輛為 39 米 (第四張結果)。亦能偵測到對向來車 (第二張、第五張、第六張結果)，但可惜是對向來車的準確度有限。這就是整個雙目立體視覺前車偵測的算法解析，相信各位依照此系列的介紹就能加快理解該算法，並成功辨識出車輛 !! 下一篇文章 “ Sky Eye 架設指南 “，即開始進入到實際開發篇章，將介紹本世平興業WPI 所量身打造的 Sky Eye 開發板與架設方式，並符合前車偵測所需的硬件需求 !!
四. 參考文件
[1] 每日頭條網站 - 雙目立體視覺技術的實現
[2] 每日頭條網站 - 雙目立體視覺測量系統應用
[3] 每日頭條網站 - ADAS單目/雙目/三目到底有什麼區別？
[4] 維基百科 - Block-matching algorithm
[5] 論文 - Performance Analysis between Basic Block Matching and Dynamic Programming of Stereo Matching Algorithm
[6] 教材 - Stereo Vision by Professor Fei-Fei Li
[7] 維基百科 - Epipolar geometry
[8] 維基百科 - 單應性
[9] 論文 - A Flexible New Technique for Camera Calibration
[10] 數學工廠 - Camera Calibration 相機校正
[11] CSDN - 雙目測距(雙目標定、雙目校正和立體匹配)
[12] 官方網站 – GNU Octave
[13] 官方網站 – Camera Calibration Toolbox for Matlab
[14] 維基百科 - Hough transform
[15] 論文 - Chong-Wei Li , Jui-Cheng Yen and Hun-Chen Chen, "Safe Driving Monitoring System", June. 2014.
[16] 論文 - Hernán Badino, Uwe Franke, David Pfeiffer, ”The Stixel World - A Compact Medium Level Representation of the 3D-World”, September 2009
[17] 數據邦 - 雙目的終極奧義：Stixel柱狀像素
如有任何相關 雙目立體視覺(Stereo Vision) 技術問題，歡迎至博文底下留言提問 !!
接下來還會分享更多 雙目立體視覺(Stereo Vision) 的技術文章 !!敬請期待 【Sky Eye 開闊未來】 !!
評論