基于Socionext Miranda之影像识别追踪行人(Object Tracking) ADAS方案

此方案收集4个车载镜头(影像感测器)的影像，运行先进驾驶辅助系统(ADAS)必需的影像识别算法，可即时识别汽车周围的行人，不仅仅只侦测汽车前方的行人做警示，而是可以拉大范围，侦测位于汽车周围360度的行人，并进行360度视野持续追踪已侦测到的行人，提供车外变化的行驶环境给驾驶，辅助驾驶避免视线死角造成的意外伤亡(前后左右方行人防撞警告)。

顶尖影像应用Socionext Inc. (索思未来科技)的SC1810整合Khronos Group的OpenVX电脑视觉API标准，提供多元的电脑视觉解决方案，针对硬体平台达到高效能与低功耗的影像辨识，尤其应用于先进驾驶辅助系统(ADAS)在嵌入式系统的即时运算(Real Time)特别重要。

诠鼎集团 软体/硬体技术支援

诠鼎集团拥有经验丰富的软、硬体工程师，可提供丰富的资源协助客户开发产品，缩短客户开发时程。技术支持包含:

1) 硬体电路参考设计、电路布局图、电路设计指南、电路review等技术支持，提供客户快速开发。

2) 协助eBinder软体开发环境架设安装、原厂软体工具Debug教学。

3) 完整eT-Kernel作业系统BSP、驱动程式移植、应用程式范例APP等，提供客户快速开发验证。

4) 开发板EVB提供丰富的IO接口，可让客户在开发板做各种应用测试与开发。

5) 问题能即时反馈Socionext原厂，直接与原厂窗口对接，提供专业的技术支援和问题解答。

软体开发

此方案内置专有的‘视觉处理器’(VPU, Vision Processing Unit)和OpenVX的硬体加速器，OpenVX是开放、免授权金的跨平台电脑视觉API标准，软体架构图如下示：

影像特征撷取可应用于目标匹配和目标跟踪，而角点侦测是特征点检测的基础。OpenVX提供FAST和Harris的角点侦测算法。此方案使用Harris角点侦测，因为Harris虽然比Fast慢，但精确度高，这也凸显此方案在硬体规格的优势。

此方案软体程式码清楚说明OpenVX的Harris API如何带入参数。


下图展示侦测角点的画面。


此方案也提供Moving Object Detection(MOD)的软体开发套件，可优化角点侦测的效能，如果上图撷取的特征点过多或过少，皆可修改程式码的hris_sc参数。


电脑视觉提出许多物件追踪(Object Tracking)的方法，此方案利用光流法(Optical Flow)应用于物件追踪，以下图示意，说明特征点间的位移用向量表示，而向量即是光流，可利用光流位移的特性，概略判断出汽车的位置。


MOD开发套件提供调优光流的参数，例如增加opt_srng定义的数值，就可以侦测移动速度较快的物件。

硬体设计开发

此方案开发板的硬体设计可由摄像镜头输入侦测影像，再搭配PC软体开发环境，可即时除错(硬体接线示意图如下)，提高研发Debug的效率。



此EVB硬体设计有别于市售Camera影像辨识的开发板，此方案也支援HDMI作为影像输入讯号源(硬体接线示意图如下)，此硬体设计让客户在开发新Camera模组期间，让工程师先有影像讯号源以优化ADAS影像辨识的效能，和在实验室有高品质的影片来评估影像识别的精确度(可屏除Camera模组成像不良，影响影像特征撷取)。




选择影像输入源要设定EVB上的指拨开关SW4301，控制EVB切换Camera或HDMI输入源。



由线路图得知，指拨开关SW4301的bit6可切换Camera或HDMI输入源，D_CAP0_RGB_YUV_CAPX3可控制多路器开关的Select Pin做讯号切换。

方案实际展示图

侦测到移动中的行人，会自动切换显示镜头(追踪行人从汽车右方走到汽车前方)，可观看视频感受此方案令人惊奇的视觉效果。



联络 诠鼎集团 台湾 Socionext 产品线人员: Socionext.tw@aitgroup.com.tw 
联络 诠鼎集团 中国 Socionext 产品线人员: Socionext.cn@aitgroup.com.tw