一、方案介紹
該方案基於主控平台STM32N6搭配ST的VD66GY影像感測器實現人體姿態的監控，系統利用VD66GY感測器採集環境影像數據，隨後透過STM32N6處理器進行高效的影像分析和處理開發。
二、主要元件簡介
STM32N6
基於 Arm Cortex-M55 的微控制器，配備 ST 神經-ART 加速器、H264 編碼器、Neo-Chrom 2.5D 圖形處理器，4.2MB 連續型靜態隨機存取記憶體用於即時數據處理和多任務處理，專用嵌入式神經處理單元（600 GOPS NPU 和 3 TOPS/W 功耗），影像處理器 ISP（平行和 MIPI CSI-2 相機模組介面）支援 5 百萬像素相機和 30 FPS，具備壞像素修正、降採樣、黑電平校正、曝光調整、去馬賽克、列轉換、對比度調整、裁剪、縮小、伽馬值調整及像素打包功能。
工程師可以將機器學習的推理處理任務分配給NPU，這樣一來，高效的Cortex-M處理器、ISP以及GPU就可以專注於處理其他系統級任務或是執行使用者的應用程式。這使得它能夠處理複雜的影像識別和處理任務，例如物件分割定位、姿態估計、物體分類、人臉/人像偵測、異常偵測等等。
ST 官網提供多種開發包和工具擁有自己的討論社群與維基，讓使用者擁有大量的資源可以使用，並享有自由的開發環境。
影像感測器-ST VD66GY
1.5M BSI 感測器（1124x1364），可配置為 RGB 和 RGB-IR 兩種模式，動態範圍可達 60DB，每個像素尺寸為 2.61μm，在可見光和近紅外區域（940 納米）表現優異。這些感測器在 1124x1364 的解析度格式下每秒可捕捉多達 88 幅影像，並提供兩種像素矩陣版本：RGB 2x2 核心和 RGB-NIR 4x4 核心。這些元件的像素結構最大限度地減少了串擾，並在可見光和紅外區域都保持了高 MTF（調制傳遞函數）。
ST還提供VD66GY S-Board，可直接搭配STM32N6進行配對開發，提供從原型到量產的支持，不僅可以節省資源，還能加快產品上市的時間節點。
VD66GY S-Board 是一款全面的多功能硬體套件，用於評估和整合 VD66GY 影像感測器。它包含所有必要的硬體，從電子元件到光學器件，以執行全面的產品評估或立即將產品直接整合到系統的其餘部分。套件內嵌了一個帶有 FFC 輸出連接器的 VD66GY 影像感測器、一個 M12 鏡頭支架、一個預設的非膠合鏡頭以及一條帶狀電纜。套件中的非膠合鏡頭可以根據您的需求靈活調整焦距，或者簡單地將其取下以使用不同的鏡頭。該套件配備 M12 鏡頭介面，可根據您的應用需求定制各種 M12 或更小的現成鏡頭。其標準 FFC 連接器允許連接各種長度或針腳排列的電纜，以適應您的設置。
（詳細資料：VD66GY - 緊湊型、高靈敏度的 1.53 MP 彩色全域快門影像感測器 - 意法半導體STMicroelectronics）
三、主要功能和應用
VD66GY影像感測器收集前方影像數據，通過STM32N6進行推理任務識別處理，辨別出影像畫面中的物件類型並進行相應功能設計。基於STM32N6主控和VD66GY感測器的高效能特性，我們可以進一步擴展其應用範圍和功能：智慧工業的異常檢測、智慧住宅的事件監測、個人醫療保健的身體數據測量、機器人的碰撞檢測、汽車環境的感知、個人電子產品和運動設備的開發。這樣不僅可以提升現有工業和商業應用的效率與品質，還能拓展到更廣泛的智慧技術應用領域，為未來的技術革新奠定堅實的基礎。
還可以利用 STM32N6 的邊緣計算和人工智慧技術（人員檢測、姿態估計、手勢特徵）來提升產品應用服務範圍。
在各種環境下進行遠距離高精度的人員檢測：智慧門鈴、房間佔用情況、警報系統。
高精度多姿態估計：行為分析、活動監測、跌倒監測。
基於手部特徵點的精準系統控制：非接觸式人機介面、智慧電子產業。
►場景應用圖
►產品實體圖
►展示板照片
►方案方塊圖
►核心技術優勢
STM32N6： • 基於 Arm Cortex-M55 的微控制器，配備 ST 神經-ART 加速器、H264 編碼器、Neo-Chrom 2.5D 圖形處理器，4.2MB 連續型靜態隨機存取記憶體用於即時數據處理和多任務處理，專用嵌入式神經處理單元（600 GOPS NPU & 3 TOPS/W 功耗），影像處理器 ISP（Parallel 和 MIPI CSI-2 相機模組介面）支援 5 百萬像素相機和 30 FPS，並具備壞像素修正、降採樣、黑電平校正、曝光調整、去馬賽克、列轉換、對比度調整、裁剪、縮小、伽馬值調整及像素打包功能。 VD66GY： • 1.5M BSI 感測器（1124x1364），可採用 RGB 和 RGB-IR 兩種模式配置，動態範圍可達 60DB，每個像素尺寸為 2.61μm，在可見光和近紅外區域（940 納米）表現出色。這些感測器在 1124x1364 的解析度格式下每秒可捕獲多達 88 幀影像，並提出了兩種像素矩陣版本：RGB 2x2 核心和 RGB-NIR 4x4 核心。Global Shutter CIS 適用於機器視覺，能在移動間拍攝影像時避免扭曲，有助於獲得完整影像進行判斷。
►方案規格
STM32N6規格： 1. Arm 32位Cortex-M55，3360 CoreMark，頻率高達800MHz，32KB ICACHE，32KB DCACHE 2. Arm MVE（M-Profile向量擴展），Helium™技術，TrustZone MPU，NVIC 3. 配備半精度、單精度和雙精度浮點運算單元（FPU），支援向量和標量的半精度、單精度和雙精度浮點數據類型 4. ST Neural-ART加速器，頻率高達1 GHz，600 Gops，288 MAC/cycle 5. 用於深度神經網路（DNN）推理功能的專用硬體單元，靈活的專用流處理引擎 6. 4.2 MB SRAM 7. 128KB 緊密耦合型TCM（同步記憶體）RAM（具備糾錯功能），用於存儲關鍵的即時數據；64KB 緊密耦合型TCM RAM（同樣具備糾錯功能），用於存儲關鍵的即時程式碼 8. 128 KB TCM（緊耦合記憶體）RAM，ECC用於關鍵即時數據 + 64 KB指令TCM RAM，ECC用於關鍵即時例程 9. Arm TrustZone 和安全的I/O記憶體與周邊設備，SESIP第3級，Arm PSA（平台安全）認證 10. 靈活的生命週期方案，包含RDP功能和密碼保護的調試功能 11. ROM中的安全啟動代碼，對客戶可更新的“信任根”（uRoT）進行解密和認證，通過硬體專屬密鑰（HUK）實現數據的安全存儲 VD66GY規格： 1. 150萬像素感測器（1124x1364），提供RGB和RGB-NIR兩種模式版本可供選擇 2. 3D堆疊式感測器，其BSI像素尺寸為2.61微米x2.61微米，影像陣列尺寸為2.9毫米x3.6毫米。光學格式為4英寸 3. 尺寸：3.6毫米x4.3毫米 4. 全域快門技術 5. 雙通道發射器MIPI CSI-2（版權© 2005-2010 MIPI聯盟公司，攝影機串列介面2（CSI-2）標準版本1.0）版本1.3，每條通道1.5 Gbps的傳輸速率 6. 快速模式加CCI控制介面 7. 線性動態範圍可達60分貝 8. 整合式溫度感測器 9. 在全解析度模式下，最高可達每秒88幀 10. 8個可編程的GPIO端口，用於控制LED輸出，這些輸出與感測器整合週期同步、脈寬調變控制、主/從式外部幀啟動影像/翻轉讀出 11. 工作結溫：-30攝氏度至85攝氏度