推出全新智慧圖元光學感測晶片 – PAC9001LU
PAC9001LU 智慧圖元光學感晶片是一款電腦視覺 ASIC，通過將新穎的 AI 驅動圖元架構融入感測器陣列設計中，適合作為始終在線的運動感測器。基於CMOS圖像感測器rolling shutter結構設計，採用36 x 16像素陣列，可支持高達1000Hz的高幀率，方便快速移動物體應用的圖像捕捉。以像素為單位的 AI 設計將幀比較電路與 AI 驅動的演算法整合在一起，以計算可配置圖像區域內圖元亮度的差異。它直接在像素差異模式下提供類比幀差異和事件資訊，並支援智慧運動檢測模式，以消除處理器中複雜的圖像信號處理。部分陣列感測（例如可配置的ROI區域）可提供靈活的自定義場景捕獲，以滿足 AIoT 邊緣應用的需求。
該PAC9001LU提供的不僅僅是僅輸出原始圖像的傳統低解析度圖像感測器。它是一款基於應用的SoC感測器，與片上處理單元、記憶體和 GPIO 集成在單個基板上。其功能不僅限於捕獲室內或室外場景圖像以進行運動/事件檢測。它還提供了許多可程式設計的靈活性，用於設置和參數調整，以針對不同的場景進行定製。該晶片內置自學習智慧，將過去的運動/事件檢測記錄存儲在其記憶體中，用於數據挖掘。根據我們內部的初步測試，PAC9001LU的運動檢測率在不同情況和測試條件下可以覆蓋高達95%。此外，該晶元還支援將設置轉換為特定應用的新設計，以簡化設計工作。
該晶元使用I2C作為控制介面，通過I2C或SPI介面輸出圖像數據。數據輸出格式取決於選擇兩種可用的操作模式：像素差異模式和智慧運動檢測模式。輸出數據將PAC9001LU與其他圖像感測器區分開來。它可以以原始數據形式輸出運動事件中斷，以消除後端主機控制器或ISP的數據輪詢過程。優化原始圖像數據的轉換、處理和分析，可以降低數據頻寬、延遲、處理資源和功耗，從而提升整體系統性能。PAC9001LU作為人工智慧驅動的SoC感測器的多功能性，有利於以盡可能低的功耗簡化系統設計的複雜性。
1. 像素差異模式
在這種模式下，PAC9001LU直接處理原始圖像信號的數字轉換。它計算晶元內部兩幀之間的圖像減法差，以8位數據格式提供每個圖元的差值。與整個圖元陣列的原始圖像數據相比，這種 8 位數據量相對較小，可以有效降低數據傳輸頻寬和延遲問題。同樣，也可以通過將閾值設置為將 8 位像素差異數據轉換為數位資訊 0 或 1 來實現運動事件中斷。該晶元還支援多種高級定製控制選項，適用於複雜的場景。 
2.智慧移動偵測模式
通過內置的人工智慧演算法，智慧運動檢測模式可以根據連續監控捕獲的圖像數據，在檢測到運動或場景變化時產生運動中斷。中斷輸出是一個基於事件的觸發器，用作運動警報，供主機控制器直接讀出，以便進行下一級動作判斷。PAC9001LU晶元還通過其自學習智慧在所有情況下逐幀分析所有圖像，從而獲得物理場景現象的知識。
例如，智慧檢測模式下的背景連續運動監控或亮度變化可以是一個事件觸發，以在~70μW的低功耗下喚醒主系統主機，而無需額外的外部資源。這種超低功耗設計非常適合邊緣應用中與功耗相關的始終在線無線設備，例如家庭監控監控、移動或物聯網設備上的智慧感測、自動化行業的事件觸發等。高達 1000 幀/秒 （FPS） 的高幀率使得捕獲快速移動物體的圖像並執行片上圖像信號處理和分析成為可能，以提供更準確的資訊並減少誤報，從而更好地解釋物理場景。許多運動監控應用可以用這種PAC9001LU取代傳統的 PIR 感測器，作為基於圖像的運動感測器，以豐富物聯網產品的功能。 
為 AI 現代化應用提供支援
1. 取代PIR運動感應功能
PIR 感測器在運動感測市場中發揮著至關重要的作用。儘管存在誤報或故障的情況，但它們的使用已經存在了幾十年。由於使用簡單、功耗低、成本高等優點，是不可替代的。隨著許多運動感測應用隨著 AIoT 設備升級的呼聲而發展，引入新技術以提供更小的模組形式和提供智慧功能，以提供有關周圍環境的更多有用資訊，從而激增傳統 PIR 的逐步淘汰。該PAC9001LU基於圖像的光學感測架構結合了圖元級多幀圖像之間的信號處理智慧和運動檢測的集成演算法。它不僅是基於事件的觸發運動感測器的理想選擇。儘管如此，它還擴展了功能，以提供更有價值的智慧以轉換為智慧應用，例如智慧家居、建築和個人小工具中所需物體的存在感應，以及工業自動化中的檢測開關。
下表比較了目前常用的幾種運動檢測解決方案，並突出了PAC9001LU在同類產品中脫穎而出的關鍵優勢。
- 智慧資訊自帶的智慧運動檢測模式期間的低功耗是實現 AI 應用最引人注目的構建塊。與PIR或CMOS圖像感測器（CIS）相比，在系統級進行進一步的數據處理需要更高的功耗。
- 高達1000Hz的高報告率可實現對快速移動物體的運動檢測，優於PIR或傳統CIS。
- PAC9001LU更堅固，性能可靠。它具有更少的誤報檢測運動和更高的抗溫度干擾能力。外部環境因素，如來自室外的明亮和炎熱的陽光，來自加熱設備的室內熱雜訊，都不會影響其感測性能。內置演算法也可以消除背景雜訊等干擾。
- 整個PAC9001LU感測器模組（包括鏡頭組）外形小巧，可以很好地融入纖薄的邊框ID設計中。
- 傳統的PIR感測器通常要求不要被塑膠或玻璃正面蓋遮罩，這可能會影響熱紅外輻射的檢測。雖然PAC9001LU解決方案沒有任何材料的前蓋的限制，但仍然可以保持運動感測品質，即使將運動感測設備放置在室內，從玻璃窗向外看也是可能的。有了蓋子保護，PAC9001LU不易受到外部損壞。
採用原相先進的像素設計，PAC9001LU感測器可支援弱光或無光條件下的弱光感應，非常適合在黑暗環境下使用，例如地下室。通常，在正常房間照明條件下，最大感應距離為 5M，具有準確的運動感應性能。然而，在超過5M的弱光條件下，感測器性能會下降，誤報發生率更高。參考如下圖所示的內部測試結果，在距離晶元4.5M的檢測距離為0.1LUX時，PAC9001LU可以實現100%的運動檢測率。該晶元仍然可以在<0.01 LUX 的近乎黑暗的條件下主動捕捉圖像。然而，運動感測的故障率在2M的距離內達到50%。較高的故障率是由於圖像靈敏度低，沒有太多的圖元對比度需要區分。這種限制對於依賴環境光（無外部照明）進行感測的成像感測器來說很常見。當距離較近時，感應成功率更高。
2. 工廠自動化中的在線監控
工業 4.0 的工廠自動化轉型非常需要實時監控，以保持生產力處於最佳最佳輸送量。該PAC9001LU可以滿足片內高速運動檢測的需求，無需外部控制器處理。雖然傳統的圖像感測器可以提供更高解析度的圖像，但仍需要更多的資源和頻寬來處理原始圖像信號。由於大多數生產線都處於固定的背景中，因此只有目標在感興趣區域內的運動才能轉化為有價值的數據，以便在實時監控生產線中傳遞用於後續操作調用。
如下圖所示，製造設施中移動輸送機上的貨物是關鍵目標。通過設置PAC9001LU感測器來在線監控通過所需感興趣視圖的貨物，當傳送帶出現貨物堵塞或打滑停止生產時，PAC9001LU可以立即觸發警報，提醒在線操作員立即注意。當任何物體發生運動時，它可以提示事件變化中斷，表明生產線處於良好狀態，圖元差異的輸出數據可以作為進一步離線數據分析的手段。由於輸出的像素差異數據大小相對小於原始圖像數據，因此PAC9001LU可以在高達1000Hz的高幀率下捕獲圖像和片上處理。 
3. 物件追蹤
除了運動感應外，PAC9001LU感測器還可以提供目標運動物體的座標資訊，該座標資訊與每個像素差異的圖像數據同步。基於物體的座標，主機控制器可以進行後期數據處理，分析物體的運動，以獲得運動方向、相對跟蹤路徑，並統計感興趣區域內進出物體的數量。閾值可配置，以優化移動物體的識別。片上演算法具有訓練有素的智慧，可以忽略光開關或閃爍的干擾，以避免亮度機會的誤報。
設計支援 – 高度集成的評估板
PAC9001KE評估套件可用於評估和設計研究目的。系統框圖顯示，該評估套件包括一個集成了PAC9001LU晶元的評估板（EVB）、LST0-2621透鏡組、其他無源元件、跳線連接器等，以及一個MCU控制器板。客戶可以將EVB直接連接到主機控制器板，以訪問PAC9001LU晶元，並從感測器讀取原始圖像、像素差異圖像和運動事件中斷數據。我們的目標是通過即插即用的方法簡化設計資源，使用我們現成的評估板與其他子系統（如PIR、高解析度CIS、ToF等）集成和融合，以形成更複雜的系統設計，以滿足不同的用例。
原相可以為客戶提供廣泛的支持，幫助他們設計和開發終端系統。我們期待與利用智慧圖元光學感技術進入人工智慧領域的客戶建立合作夥伴關係。
