開闢未來 ! 雙目立體視覺帶你進入 FCW / LDW 新視野

現今,最火熱的 ADAS 應用莫過於 前方防撞系統(Forward Collision Warning, FCW)車道偏移系統(Lane Departure Warning, LDW)


主要作用是預先偵測到任何會發生事故的物件或車輛、行人,盡而達到預防意外的功效! 以及搭配車道偏移預測加強輔助駕駛者 ! 但因受限於技術尚未成熟僅能針對特定的物件進行描繪,像是車輛或是行人。故善用雙目立體視覺技術,即可提高物件辨識率以及辨識更多種類的物件就是未來的研究一大方向,更是各家學術單位、公司百家爭鳴之處。
 

雙目立體視覺應用層面相當廣泛,能用於前車偵測與防撞、車道偏移、號誌識別、行人偵測等等 ADAS 相關安全應用,如下圖1。 即透過新穎的雙目概念建立新的維度 (物體深度/遠近),為車用安全領域多一種新的發想與延伸應用,更能輕易的識別標的物,以利於提早邁入自動駕駛的領域之中。並能配合光學焦距的設計,使識別物件距離達到另一種層次提昇,替未來車輛開拓市場


雙目立體視覺應用場景

 
 

       本方案提供一套 Sky Eye 雙目立體視覺 ADAS 產品開發原型與技術資源,如 "展示板圖片" 所示。要讓初入此領域者的開發者更快速地上手應用,縮短開發周期並更能專注於開發算法,設計出符合一定水平的 ADAS 產品。目前主要針對前車偵測與辨識進行開發,並搭配 Sony IMX224 車用感測器於實際架設在車輛上進行道路測試,如下圖2,能夠偵測出前方車輛距離,最遠偵測距離約50米。並邁入車用安全 ADAS 與自動駕駛之未來新領域中,創造更好的應用價值

圖2  Sky Eye 雙目視覺前車偵測實測示意圖

 

 

藉由專屬的雙目立體視覺演算法創造建立三維空間(景深)。如下圖所示,取得兩顆鏡頭之影像後,由視差概念計算獲得新的空間 "視差"  ! 同時,即可推導出車輛距離 (視差值越大距離越近,反之視差值越小則距離越遠) !  亦可用彩色方式呈現視差圖,深淺程度由紅、澄、黃、綠、藍來表示近到遠的物件,如 "實測結果與彩色視差示意圖" 所示。


圖3
  Sky Eye 雙目視覺前車偵測之視差原理示意圖


本方案提供的技術核心參考,取得視差圖後就可依照算法流程進行分析,由改善視差影像、地面估算、移除天空等步驟構成,即可將場景中的物件分類出來。最後統計資訊並利用條件篩選出車輛,如同下圖結果顯示即表示搜尋到前方車輛 !!  經實際測試,
執行速度約可達到每秒 27 FPS,可偵測到 50 米內的車輛



圖4
  Sky Eye 演算法流程大公開

 

最後,亦可善用 S32V234 APEX 視覺加速器所量身打造的 NXP eIQ Auto 套件與深度學習框架來提高識別車輛的辨識率 !! 達到辨識率與檢測速度更進一步的提升!!


圖5  eIQ Auto機器學習軟體套件之應用場景

場景應用圖

sceneryUrl

產品實體圖

imgUrl

展示版照片

frontUrl

方案方塊圖

funcUrl

實測結果與彩色視差示意圖

other5Url

核心技術優勢

優勢一 : 能配合雙目視覺之視差概念,建置深度資訊以利於識別物件。比起單一鏡頭,雙目視覺多一個維度運用更能輕易識別遠方的車輛,應用前景極為廣闊可識別車輛、行人、號誌與道路。 優勢二: 提供兩路 MIPI 接口,其鏡頭相距 30 公分以擴大視差效果,如下圖3,搭配 Sony IMX224 鏡頭可偵測 50 米內之車輛。以視差原理搭配長焦、窄角鏡頭即可偵測更遠的物體(車輛),更加強化雙目視覺的優勢。 優勢三: 提供齊全的周邊配置,如 高畫質多媒體介面(HDMI) 、 乙太網路(Ethernet) 、非同步收發傳輸器(UART) 接口。 優勢四: 可快速上手應用 NXP eIQ Auto 深度學習套件,與雙目視覺結合能增加辨識速度。亦可配合任何一個深度學習的架構作延伸應用,提高物件識別的準確度

方案規格

1. 主晶片 MPU 規格 (NXP S32V234) : - 搭配 4 顆 Quad Cortex-A53 高效能處理器,最高時脈為 1GHz - 搭配 ISP 圖形處理器、APEX 視覺加速器、GPU 圖形加速器等核心 - ISP 圖形處理器 提供 HDR、色彩轉換、白平衡、自動曝光等技術 - APEX 視覺加速器 由 64 個小型運算器組成的硬體加速器,能提高約 8 倍的運算性能。 - GPU 圖形加速器(GC3000) ,運算速度高達 800 MHZ 。 -提供 4MB 內部記憶體 與 DDR3/DDR3L/LPDDR2 外部記憶體 -提供 H.264 影像解碼與編碼技術 (8-12bit) - 提供 SD card 、Ethernet 等周邊接口 -符合車用安全規範 ISO 26262 標準 與 車輛安全等級 ASIL 的要求 2. 鏡頭模組 Camera Module 規格 (Sony IMX224) : - 提供最高解析度為 1280(H)x960(V) 共 1.23 百萬畫素 - 提供最大禎數率 120 frame/s - 提供 10 and 12 bit數位類比轉換器 - 提供低光源時,良好的高分辨率彩色圖像 - 符合 AEC-Q100 2級 3. 外部記憶體 External Memory DDR3 規格 (MT41K256M16TW-107) : - 最高運行時脈為 933 MHZ - 儲存容量為 512 Byte - 操作電壓為 1.283 至 1.45 V -操作溫度為 0 至 95 度 4. 電源管理集成電路 PMIC (PF8100/PF8200) 規格: - 提供 7 個高效能降壓轉換器 - 提供 4 個線性穩壓器 - 提供看門狗監控機制 - 符合 ISO 26262 標準與 車輛安全等級 ASIL-B 的要求 5. 低靜態電流同步降壓控制器 DCDC 規格(NCV881930): - 工作頻率為 410 KHz,具有同步功能 - 提供穩定的工作電流 30umA - 提供熱關斷(TSD) 機制 - 符合 AEC-Q100 與 PPAP 標準

相關影片

開闢未來! 雙目立體視覺帶你進入 FCW & LDW 新視野

開闢未來! 雙目立體視覺帶你進入 FCW & LDW 新視野 - 方案影片(字幕)