基於 NOVATEK NT98530 Multiview Stitching 應用解決方案

感測技術近來於影像監控系統應用有了進一步的發展,多鏡頭的應用也與日俱增,如 AI 視覺感測會議相機,能滿足遠端多人聚會、遠距教育訓練的多元需求等,相關應用層面廣泛涵蓋了在生活中所面對的各種場景,帶動更加可觀的潛在市場需求商機。

在多鏡頭的應用中,為了擴展視角範圍,要有影像拼接的需求,期望拼接後的影像涵蓋所有的可視區域且交界平順,且沒有明顯融合痕跡。於是聯詠科技 NOVATEK 提供 NT98530 是一款高度整合的 SoC,有高影像品質、低位元率、低功耗,針對 8Mp60 邊緣運算 IP 攝影機應用。此 SoC 整合了 ARM Quad Cortex A53 CPU 核心、新一代 ISP、H.265/H.264 視訊壓縮編碼器、DSP、高效能硬體 DLA 模組、圖形引擎、雙顯控制器、乙太網路 GMAC、USB 3.0 和 USB 2.0 Host/Device、音訊編解碼器、RTC 和 SD/SDIO 3.0 提供最佳性價比,邊緣運算IP攝影機解決方案。

NT98530 提供 HIS1 與 HIS2 這 2 組 CSI 的影像接收單元,支援 5 組 clock lanes 及 12 組 data lanes。

HSI1 (1C4D) 支持 MIPI CSI-2® D-PHY v1.2、LVDS、sub-LVDS、及 HiSPi 標準;單 lane 最高達 2.5 Gbps data rate,Clock 輸入頻率可達 1.25 GHz。

HSI2 (4C8D) 支持 MIPI CSI-2® D-PHY v1.1、LVDS、sub-LVDS、及HiSPi 標準,單 lane 最高達 1.5 Gbps data rate,Clock 輸入頻率可達 750 MHz。

NT98530 MIPI CSI 接腳列表如下



硬件設計



應用板使用方式

連接應用板和周邊相關裝置 (ex. 12V 電源、HDMI 螢幕、Sensor、Ethernet…)

可從 HDMI port 輸出觀看完整的影像拼接結果。

場景應用圖為一個拼接三鏡頭視角的範例,由三個不同角度的攝像鏡頭所拍攝到不同角度範圍的影像,再使用 NOVATEK 專業的影像拼接技術,將三視角之間的影像內容,拼接成一個大視角範圍的影像,例如海岸線已經良好對齊,亮度與顏色差異也已平順融合。

►場景應用圖

NOVATEK-NOVATEK 參考手冊

►產品實體圖

►展示板照片

►方案方塊圖

►核心技術優勢

(1) 影像監控結合 AI 人臉辨識動作更加精確。 (2) 有高、中、低系列平台,符合市場不同需求。 (3) Sensor + ISP 的調校技術。 (4) 支持多種 Sensor 輸入介面,包含 MIPI-CSI / sub-LVDS / HiSPi / Parallel。 (5) 支持多種影像解析度達 8Mp60 影像輸出。 (6) 支持多種影像輸出介面包含 LCD Parallel / MIPI_DSI / HDMI / VGA / USB / Ethernet。

►方案規格

(1) 晶片核心是 Qual Cortex-A53 (2) AI運算力是 2T (3) 電源輸入是 12V/2A (4) 系統 OS 是 Linux (5) 結合 Video Codec and Audio Codec (6) Multiview Stitching application Q&A Q1. 解決方案所支援的操作系统? A:NT98530 支援 Linux,聯詠 HDAL 系統框架,保持一致 API 接口,跨平台/晶片通用 Q2. 解決方案可支援到多大的影像格式輸出? A:NT98530 HDMI 最大可輸出 4K2K,VGA 最大可輸出 1080P/60fps Q3. 解決方案是否有提供儲存裝置介面? A:NT98530 有提供支援 USB 3.0 / SATA 3.0 combo 的儲存裝置介面 Q4. NT98530 最多支援幾路 sensor input? A:最多可接5路 sensor Q5. NT98530 廣角能到多少? A:可支持 4 sensor圖像拼接,可以實現 360° 環視 Q6. 請問對於行車紀錄器應用,是否有支援防震動? A:有支援 EIS 應用 Q7. 車載產品線符合 AEC Q100 哪個級別? A:AEC Q100 G2 Q8. 請問未來產品軟件更新可透過那些方式進行更新? A:可透過 SD 卡、USB 或網路來進行軟體更新

相關影片

NT98530 4 cameras Video Stitching Result

使用 4 目鏡頭組合多個重疊影像或影片,以建立一個全景影像或視頻。