基於CVITEK_CV1810+SOI_K306P的IPC方案

一.方案介紹

該方案基於主控平台CVITEK_CV1810和sensor SOI_K306P,運用於智能監控IP攝像頭,可用於戶外或室內。採用了2560x1440的解析度,30的幀率,支持HDR。作為4M的監控攝像頭,通過ISP圖像調校技術,提升成像質量與色彩真實度,通過專用CMOS傳感器和後期處理,實現更強的感光能力與更少噪點。

二.晶片介紹
  1. 主控晶片

       產品概述

晶視智能(CVITEK)是一家開放式人工智慧晶片研發商,專注於視頻監控及邊緣計算技術研發,擁有國內性能*的AI TPU運算核心及soc晶片整合技術,目前研發領域涵蓋soc晶片設計, AI TPU處理器及工具鏈,圖像處理算法及設計等,致力於打造人工智慧機器視覺一站式平台解決方案,為客戶帶來豐富價值及技術創新的產品與服務。

 CV1810C/CV1811C/CV1812C 是面向邊緣智能監控 IP 攝像機、智能貓眼門鎖、可視門 鈴、居家智能等多項產品領域而推出的高性能、低功耗晶片,集成了 H.264 視頻壓縮 編解碼器, H.265 視頻壓縮編碼器和 ISP;支持 HDR 寬動態、3D 降噪、除霧、鏡頭畸變 校正等多種圖像增強和矯正算法,為客戶提供專業級的視頻圖像質量。

 晶片更集成了自研 TPU,在 8 位整數運算下,可提供 0.5TOPS (CV1810C 僅有 0.3TOPS) 的算力。 特殊設計的 TPU 調度引擎能有效地為所有的張量處理器核心提供極高的帶寬 數據流。此外也為用戶提供了強大的深度學習模型編譯器和軟體 SDK 開發包。主流的 深度學習框架,比如 Caffe 和 Tensorflow,可以輕鬆地移植到其平台上。 除此之外,還提供了安全啟動,安全更新,安全加密等,為用戶從開發、量產、產品 應用,提供一系列安全解決方案。 晶片內集成一個 8 位元的 MCU 子系統, 可替代一般外掛的 MCU 以達到省 BOM cost 及 功耗的目的。

  1. Sensor

晶相光電(SOI)是一家專注於CMOS圖像傳感器(CIS)的開發和銷售的公司。該公司擁有優秀的設計團隊,並與專業的晶圓廠合作,具備系統集成能力以及與測試和封裝廠商的合作關係。晶相光電推出了低成本、高性能和多樣化的產品,以滿足市場和客戶的需求,並提供快速的本地客戶服務,使客戶在生產效率和時間上具備競爭力。

JX-K306P是一款高性能的4.0MP BSI CMOS圖像傳感器,採用SOI的2.0um像素技術設計和製造。它在近紅外(NIR)範圍內具有出色的QE性能,可提高850nm和940nm波長下的夜視效果。它可以以30fps的速度傳輸2K解析度的圖像。

JX-K306P由一個2568 x 1448的有源像素傳感器(APS)陣列組成,具有片上10位ADC、可編程增益控制(PGA)和相關雙採樣(CDS)功能,可顯著降低固定模式噪聲(FPN)。該傳感器還具有許多標準的可編程和自動功能。它同時支持符合行業標準的DVP並行接口和MIPI CSI2雙數據通道串行接口。外部主機控制器可以通過標準串行接口訪問該設備。該傳感器以晶圓級封裝的CSP形式提供。

以下是在不同的環境下拍攝的效果圖:

1.100lux:


2.50
lux:



3.30lux
:


4.10lux:


5.1lux:


6.0.2lux:


7.紅外850nm:


8.紅外940nm:

►場景應用圖

►產品實體圖

►展示板照片

►方案方塊圖

►核心技術優勢

1、CV1810是其面向邊緣智能監控IP 攝像機、本地端人臉辨識考勤機、智能家居等產品領域而推出的高性能、低功耗晶片,集成了 H.264/H.265 視頻壓縮編解碼器和 ISP; 2、支持 HDR 寬動態、3D降噪、除霧、鏡頭畸變校正等多種圖像增強和矯正算法,為客戶提供專業級的視頻圖像質量; 3、晶片更集成自研TPU在INT8運算下,可提供約0.5TOPS算力; 4、特殊設計的TPU調度引擎能有效地為張量處理器核心提供極高的帶寬數據流; 5、並為用戶提供了強大的深度學習模型編譯器和Linux軟體SDK開發包; 6、主流的深度學習框架,比如 Caffe Pytorch ONNX MXNet 和TensorFlow(Lite) 框架的主流網絡可以輕鬆的移植 到平台上 。

►方案規格

1.主控cv1810規格: 應用處理器: 主處理器:RISCV C906 @1.0Ghz  協處理器:RISCV C906 @700Mhz TPU:0.3TOPS(cv1811 0.5TOPS); 1.1 記憶體: CV1810C DDR2 16bitx1, 最高速率達 1333Mbps , 容量 512Mbit (64MB) 1.2 儲存裝置:SPI NOR flash,SPI Nand flash ,eMMC,SD card 1.3 視頻接口: 輸入:MIPI,sub-LVDS,HiSPI,8/10/12 bit RGB Bayer, BT.656, 支持 AHD 多路混合 BT 格式. 輸出:MIPI , 支持 BT656, BT601(8bit), BT1120, 8080 等並行接口. 支持 SPI 輸出接口. 1.4 影音多媒體規格: H.264/H.265 均支援 I 幀及 P 幀 H.264 編解碼最大解析度 :   2688x1520 (4M) H.265 編碼最大解析度 :   2688x1520 (4M) H.264 編解碼性能: 2688x1520@30fps + 720x576@30fps 1920x1080@30fps 編碼 + 1920x1080@30fps 解碼 H.265 編碼性能: 2688x1520@30fps + 720x576@30fps 1.5 JPEG 最大編解碼性能:2688x1520@30fps 1.6 支持 CBR/VBR/FIXQP 等多種碼率控制模式. 1.7 感興趣區域 (ROI) 編碼. 1.8 音頻編解碼:Audio CODEC,軟體音頻編解碼協議 (G.711, G.726, ADPCM) 1.9 軟體支持音頻 3A (AEC, ANR, AGC) 功能。 1.10 周邊外設:WIFI, 集成 POR, Power sequence,ADC,SDIO, Ethernet, 59 GPIO,12C, USB Host/device,PWD,UART,SPI. 2 .sensor_soi_K306P規格: 2.0MP CMOS圖像傳感器; 解析度:2560*1440; 10-bit RAW RGB; DVP並行和MIPI CSI2雙數據通道串行接口;