基于 Socionext Miranda 的 OMNIVIEW 之AVM 360º 立体环景监控系统方案

Socionext近几年积极发展Automotive Graphics Solution。本方案即是采用Socionext新一代Miranda SoC (SC1810) 系列芯片,配备了专有的“视觉处理器单元(VPU)”,它符合由标准化组织Khronos Group开发的计算机视觉API OpenVX。SC1810 VPU包括符合OpenVX标准的硬件加速器,以及可编程数据并行加速器,可实现高速、低功耗的高级图像识别功能,亦针对车载图形显示应用进行了优化,更可整合360环景影像、汽车仪表板、抬头显示器、车用资讯娱乐系统等各种萤幕,并加以控制与显示的高度整合解决方案。

本方案搭配经长时间稳定测试,且专为车用方案所开发的专用RTOS操作环境,展示了4路高清720p 360°立体环景监视系统,并可从种角度观看汽车周围影像。对开发者而言,更可透过专有OMNIVIEW软体工具,能够轻易地设计出用户想要观看的立体环景视角、位置以及各种角度的俯瞰图,大大降低用户实现360环景影像的门槛。本方案也预留了6路影像输入、MIPI影像输入、3路HDMI影像输出、FPD-LINK影像输出、USB、CAN、LINE in/out、乙太网路、SD卡、JTAG等多种IO接口。




Miranda Evaluation Board Block Diagram





 

360°立体环景监控系统 (360º Wraparound View (OMNIVIEW))

OMNIVIEW是一种视线辅助图像处理技术,可以从任何视点或视线显示安装摄像机的物体周围环境的图像。 它还可以在切换显示的图像时实现视线的平滑移动。我们提供OMNIVIEW软体的套装组合,能直接在OMNIVIEW上设计想查看的地方、视角、位置。OMNIVIEW软体工具,拥有完善的影像拼接和影像校正方法,能够调整每一路的影像观看角度,并提供了简单易懂的操作界面

本方案不仅可由上方俯视车身(鸟瞰图),还能从“想查看的地方、想查看的位置、想查看的角度”,显示车身周边360度的影像,本系统更能无缝显示车辆四周360°广域范围的影像。

透过OMNIVIEW软体工具,本方案展示了一套简单易入门的360°立体环景监控系统的方法,解决了以往需耗费多时才能完成的软体拼接算法,让开发者能用更少的工时完成360°立体环景监控系统的设计,并且可针对不同客户需求做客制化设计。本方案不只大大的降低了开发时程,更提供了更高的360°环景设计弹性。










专用的
视觉处理器单元VPU (Vision Processor)

本方案在展示输入的4路Serdes HD-SDI 数位高清影像,透过Sereds转板转换成BT1120讯号输入到Miranda的Video Capture接口,透过OMNIVIEW技术贴合360°立体环景影像,并且可以切换不同观看视角,同时显示在多个萤幕上。而应用上,Miranda更可以支援6路Camera,如360°立体环景加上左右电子照后镜等应用。




软体架构图

本方案使用专为车用系统所开发的RTOS,有长期稳定的开发使用经验,且已有客户导入。此外也提供了OpenGL/OpenVX等专有绘图API指令,透过Socionext专有的VPU可达到更快速的绘图运算,节省CPU资源。

 







►场景应用图

►展示板照片

►方案方块图

►核心技术优势

• 独家OMNIVIEW视线辅助图像处理技术,支援鱼眼校正、拼接贴合等功能,大大降低入门门槛,且算法软体维护容易 • 提供BSP、开发环境以及OMNIVIEW工具等课程训练及支持。 • 最多可支援6路影像同时输入,以及3路独立影像显示同时输出 • 亦可同时将影像进行H.264编码,并储存影像资料 • AVM算法使用OpenVX并透过SOCIONEXT专为车用开发的视觉硬体加速器,大大降低占用CPU资源 • 开发板预留了6路影像输入、MIPI影像输入、3路HDMI影像输出、FPD-LINK影像输出、USB、CAN、LINE in/out、乙太网路、SD卡、JTAG等丰富IO接口,可做多种开发测试应用

►方案规格

• Arm Cortex A9四核心CPU • 2D/3D 图像引擎,支援OpenGL® ES 3.1 • 搭载SOCIONEXT 专有的视觉硬体加速处理器 • 支援解码器 : H.264, M-JPEG, 最多可达6路全高清(1920x1080) [30帧] • 支援编码器 : H.264, 最多可达4路全高清(1920x1080) [30帧] 或 2路全高清(1920x1080) [60帧] • 支援6路全高清影像输入(1920x1080) [30fps], DRGB, YUV, MIPI-CSI2 • 支援3路全高清影像独立显示器(1920×1080p), DRGB, FPD-Link, YUV