此方案收集4個車載鏡頭(影像感測器)的影像，運行先進駕駛輔助系統(ADAS)必需的影像識別演算法，可即時識別汽車周圍的行人，不僅僅只偵測汽車前方的行人做警示，而是可以拉大範圍，偵測位於汽車周圍360度的行人，並進行360度視野持續追蹤已偵測到的行人，提供車外變化的行駛環境給駕駛，輔助駕駛避免視線死角造成的意外傷亡(前後左右方行人防撞警告)。
頂尖影像應用Socionext Inc. (索思未來科技)的SC1810整合Khronos Group的OpenVX電腦視覺API標準，提供多元的電腦視覺解決方案，針對硬體平台達到高效能與低功耗的影像辨識，尤其應用於先進駕駛輔助系統(ADAS)在嵌入式系統的即時運算(Real Time)特別重要。
詮鼎集團 軟體/硬體技術支援
詮鼎集團擁有經驗豐富的軟、硬體工程師，可提供豐富的資源協助客戶開發產品，縮短客戶開發時程。技術支持包含:
1) 硬體電路參考設計、電路布局圖、電路設計指南、電路review等技術支持，提供客戶快速開發。
2) 協助eBinder軟體開發環境架設安裝、原廠軟體工具Debug教學。
3) 完整eT-Kernel作業系統BSP、驅動程式移植、應用程式範例APP等，提供客戶快速開發驗證。
4) 開發板EVB提供豐富的IO接口，可讓客戶在開發板做各種應用測試與開發。
5) 問題能即時反饋Socionext原廠，直接與原廠窗口對接，提供專業的技術支援和問題解答。
軟體開發
此方案內置專有的『視覺處理器』(VPU, Vision Processing Unit)和OpenVX的硬體加速器，OpenVX是開放、免授權金的跨平台電腦視覺API標準，軟體架構圖如下示：
影像特徵擷取可應用於目標匹配和目標跟蹤，而角點偵測是特徵點檢測的基礎。OpenVX提供FAST和Harris的角點偵測演算法。此方案使用Harris角點偵測，因為Harris雖然比Fast慢，但精確度高，這也凸顯此方案在硬體規格的優勢。
此方案軟體程式碼清楚說明OpenVX的Harris API如何帶入參數。
下圖展示偵測角點的畫面。
此方案也提供Moving Object Detection(MOD)的軟體開發套件，可優化角點偵測的效能，如果上圖擷取的特徵點過多或過少，皆可修改程式碼的hris_sc參數。
電腦視覺提出許多物件追蹤(Object Tracking)的方法，此方案利用光流法(Optical Flow)應用於物件追蹤，以下圖示意，說明特徵點間的位移用向量表示，而向量即是光流，可利用光流位移的特性，概略判斷出汽車的位置。
MOD開發套件提供調優光流的參數，例如增加opt_srng定義的數值，就可以偵測移動速度較快的物件。
硬體設計開發
此方案開發板的硬體設計可由攝像鏡頭輸入偵測影像，再搭配PC軟體開發環境，可即時除錯(硬體接線示意圖如下)，提高研發Debug的效率。
此EVB硬體設計有別於市售Camera影像辨識的開發板，此方案也支援HDMI作為影像輸入訊號源(硬體接線示意圖如下)，此硬體設計讓客戶在開發新Camera模組期間，讓工程師先有影像訊號源以優化ADAS影像辨識的效能，和在實驗室有高品質的影片來評估影像識別的精確度(可屏除Camera模組成像不良，影響影像特徵擷取)。
選擇影像輸入源要設定EVB上的指撥開關SW4301，控制EVB切換Camera或HDMI輸入源。
由線路圖得知，指撥開關SW4301的bit6可切換Camera或HDMI輸入源，D_CAP0_RGB_YUV_CAPX3可控制多路器開關的Select Pin做訊號切換。
方案實際展示圖
偵測到移動中的行人，會自動切換顯示鏡頭(追蹤行人從汽車右方走到汽車前方)，可觀看視頻感受此方案令人驚奇的視覺效果。
聯絡 詮鼎集團 台灣 Socionext 產品線人員: Socionext.tw@aitgroup.com.tw
聯絡 詮鼎集團 中國 Socionext 產品線人員: Socionext.cn@aitgroup.com.tw
►場景應用圖
►展示板照片
►方案方塊圖
►核心技術優勢
使用OpenVX並透過SOCIONEXT專為車用開發的視覺硬體加速器，大幅降低占用CPU資源，提高影像辨識效能 軟體開發套件MOD(Moving Object Detection)可加快開發影像辨識的功能，警示駕駛注意車外的行駛環境 採用專為車用方案所開發的專用RTOS操作環境–Extended T-kernel 最多可支援6路影像同時輸入，及3路獨立影像顯示同時輸出
►方案規格
為ARM Cortex A9四核心CPU，2D/3D 圖像引擎，支援OpenGL ES 3.1 搭載SOCIONEXT專有的視覺硬體加速處理器 支援解碼器 : H.264, M-JPEG, 最多可達6路全高清(1920x1080@30FPS) 支援編碼器 : H.264, 最多可達4路全高清(1920x1080@30FPS)或2路全高清(1920x1080@60FPS) 支援6路全高清影像輸入(1920x1080@30FPS), DRGB, YUV, MIPI-CSI2 支援3路全高清影像獨立顯示器(1920×1080p), DRGB, FPD-Link, YUV 提供豐富的I/O介面，可實作多種開發測試，如MIPI、HDMI、FPD-LINK、USB、CAN、乙太網路、SD卡、JTAG等