隨著 5G 及車聯網發展,物流業主需要更具智慧的管理物流駕駛的系統,現行市場中仍處於安裝行車記錄器來進行事後究責,無法達到事前預警及駕駛行為有效的改善。本提案透過兩支攝影機(車前影像及駕駛畫面)進行在線影像分析,使用高效AI運算主機(HPC)分析車前狀況及駕駛行為,當發生異常事件後,進行即時告警,並進行事件錄影,透過4G/5G網路提供管理者查閱,讓管理者隨時檢視行車狀態(例如跟車過近或行人追撞危險),即時發現並修正駕駛行為異常(例如分心)。
其用途為:
1. 保障駕駛安全
2. 透過駕駛行為智能分析來修正駕駛行為,以保護用路人安全
解決方案
本系統特別適合應用於 運輸業 的駕駛管理,我們使用:
1. Intel 11 代 TigerLake Edge Computer 及 NCS2 神經棒來提供高效能的 AI 運算
2. 使用二支 Webcam 擷取車前及駕駛影像,其中車前影像進行人車物件偵測及追蹤,稱為 ADAS;車內影像進行駕駛人臉識別 [5]及頭部姿態角追蹤 [2],稱為 DMS
3. 當系統偵測到 駕駛行為異常時,會即時提出警示,並進行後端錄影
4. 車隊管理者可以透過 4G/5G 路由連入檢測駕駛行為 異常狀況,可做駕駛行為評分依據。
在開發過程中所用軟硬體如下:
硬體:
軟體:
- 系統架構-開發硬體平台:Intel 11 代 TigerLake Edge Computer+ Intel® NCS2 + Webcam x2 + 路由器
本系統由兩支Webcam擷取車前及駕駛座影像,至車聯網AI平台並將影像分流至OpenVINO平台進行AI inference,並將異常事件上傳至駕駛監控平台,業主能透過駕駛監控平台得知目前駕駛狀態。(圖一所示)
圖一 系統架構
- 技術架構-OpenVINO GStreamer [4]
在串流處理,我們採用 OpenVINO 平台搭配 GStreamer 及 OpenCV 方式進行。
AI 順向使用 OpenVINO 預訓練模型 [1],主要有三類:
- 車前物件偵測及屬性識別
- 人臉檢測及頭部姿態角追蹤
- 人臉識別
影像輸入,可透過 Web Camera 或 檔案方式輸入,Inference 後的影像輸出到二路 V4L2 裝置 [3]
使用 GStreamer 連接 ADAS 及 DMS 所需的預訓練模型(由OpenVINO提供),將 Inference 後的結果,由 MQTT 傳至團隊開發的 AI 智能駕駛行為分析程式進行分析,使用 OpenCV 進行 online 貼圖,並將駕使行為異常結果儲存於資料庫,管理者可透過 本團隊開發之駕駛監控平台進行異常事件的檢索。(圖二所示)
圖二 技術架構圖
- ADAS Pipeline
圖三為 GStreamer 連接 OpenVINO Model(人、車、自行車辨識)、(人物屬性辨識)、(車輛屬性辨識)之 ADAS Pipeline:
圖三 ADAS Pipeline
DMS Pipeline
圖四為 GStreamer 連接 OpenVINO Model(頭部姿態角辨識)、(人臉辨識)之DMS Pipeline:
圖四 DMS Pipeline
成果介紹短片
成果介紹
- 安裝模擬場景
圖五 模擬場景
- ADAS 與 DMS 功能介紹及觸發條件
圖六 功能介紹
- 車機畫面及駕駛監控平台 – 展示說明
圖七 車機畫面介紹
圖八 駕駛監控平台操作步驟
- 各項Model使用CPU及VPU效能表現
圖九 Model使用CPU及VPU效能
圖十 使用 CPU 及VPU 效能圖表 (因值域差異大,以 Log10 對數表示)
圖十一 裝置工作詳細內容
以下概略說明主要硬體的使用方式及整合後系統效能的表現,其中CPU 佔比最高,功能包含:
1. 負責兩項 AI 功能:車前物件偵測與追蹤,及駕駛頭部姿態角
2. 應用端的邏輯及 online OSD 貼圖
3. 網頁伺服器及資料庫
GPU 提供車機影像的顯示,NCS2 神經棒負責第三個AI的功能:人臉偵測與識別。
輸入資料量為兩隻 Web Camera 攝影機,其解析度為 752×416@30 FPS,整合後的系統效能,張數大約落在 15~25 張。
本系統能即時分析輔助駕駛並讓業主了解駕駛行為表現,可以進行員工教育,提升駕駛素質,保障駕駛及用路人的生命安全。
參考資料
- https://github.com/openvinotoolkit/open_model_zoo
- https://github.com/yinguobing/head-pose-estimation
- https://github.com/umlaeute/v4l2loopback
- https://github.com/openvinotoolkit/dlstreamer_gst
- https://github.com/bhatiaharshit07/Computer-Pointer-Controller
►場景應用圖
►產品實體圖
►展示板照片
►方案方塊圖
►INTEL官方Tiger規格
►核心技術優勢
1. 高效能 CPU 與 GPU 結合 AI 和深度學習功能,能夠在各種用途整合工作負載,例如電腦數值控制 (CNC) 機器、即時控制、人機介面、工具應用、醫療成像與診斷(在超音波這類用途),以及需要具備 AI 功能高解析度 HDR 輸出的其他用途。 2. 顯示晶片、媒體與顯示器引擎可輸出達 4x4k60 HDR 或 2x8K60 SDR,搭載兩個 VDBOX,可以用 1080p 和每秒 30 個影格的方式,解碼超過 40 個傳入的視訊串流。引擎支援各種用途,例如數位招牌與智慧型零售(包括專為分析強化的 AI),以及具備推斷功能的電腦視覺,適用於網路視訊錄製器或機器視覺與檢測這類用途。 3. 利用在 CPU 向量神經網路指令集 (VNNI) 執行的 Intel® DL Boost,或是利用在 GPU (Int8) 執行的 8 位元整數指令集,即可實現 AI 與推斷加速。 4. 全新的物聯網導向軟硬體,實現了需要提供及時效能的各種應用。適用於可程式化邏輯控制器與機器人這類用途的快速週期時間與低延遲。
►方案規格
* 頻率最高可達 4.4 GHz *搭載達 96 個 EU 的 Intel® Iris® Xe 顯示晶片 *最高支援 4x4k60 HDR 或 2x8K60 SDR *Intel® Deep Learning Boost *最高 DDR4-3200 / LPDDR4x-4267 *Thunderbolt™ 4/USB4 與 PCIe* 4.0 (CPU) *Intel® Time Coordinated Computing(在精選的 SKU) *頻內 ECC 與延伸溫度(在精選的 SKU) *Intel® Functional Safety Essential Design Package (Intel® FSEDP)(在精選的 SKU)