基於Mediatek Genio350 的IoT之人臉偵測方案

聯發科技MediaTek IoT Genio350 是用於連接多媒體系統的高度集成解決方案。目前 IoT Yocto 支持大部份硬件功能,而其它僅由聯發科專有軟件支持。 IoT Yocto 支持的硬件功能請參考下面的功能框圖。
MediaTek Genio350 Hardware

支持的功能塊:

IoT Yocto 支持以下 Genio350 設備功能:

  • Quad-core Arm® Cortex®-A53 64-bit processor
  • Arm Mali™-G52 MC1 3D Graphics Accelerator (GPU)
  • AI Processor Unit (APU) Cadence® Tensilica® VP6 processor
  • Dual MIPI® Camera Serial Interface (CSI)
  • Dual display support with MIPI DSI and DPI
  • Rich audio interfaces to support various microphones and speakers configurations
  • 10/100 Ethernet MAC with RMII
  • Support Wi-Fi connectivity through external Cypress module and MT7633 module

 

聯發科技 MediaTek  Genio350是高度集成的邊緣人工智能平台採用超高效的 14 奈米工藝構建,結合了專用的 APU(人工智能處理器)和 DSP,以實現視覺和語音邊緣人工智能,在常見應用中具有顯著提高的性能和能效。

支持具有觸摸介面和豐富應用程序的高清顯示器,使其成為智能設備、智能訪問、零售和商業環境中的信息站、自動售貨機或 POS 等公共接口,或工業和醫療環境中的集線器的理想平台。

 

Arm Mali G52 GPU 提供了顯著更高的性能,並且通過 OpenGL ES、OpenCL 和 Vulkan 實現的通用 API 兼容性,簡化了開發機會。 高達 13MP 的高清攝像頭,加上使用 HEVC 以全高清 @ 60fps 的快速視頻編碼,支持需要詳細和可靠的圖像和視頻捕獲功能的下一代應用程序。一般處理由快速 2GHz 四核 Arm Cortex-53 CPU 提供。 提供的更廣泛的內存和閃存選項中進行選擇,從而更自由地滿足性能要求。

 


本次演練是搭配 GenesysLogic GL3004 360° Camera 做演示

1. 先確認 Camera 是掛載於哪一個 Video 節點,

輸入 ls -l /sys/class/video4linux/

CheckVideoNode


2. 本次OpenCV語法是設置成自行帶參數,來選擇所要提取的 Video 節點

video_capture = cv2.VideoCapture(int(sys.argv[1]))


3. 執行預先寫好的臉部偵測的語法

輸入 python3 ./demo-opencl.py 3

演示結果如下











►場景應用圖

►展示板照片

►方案方塊圖

►核心技術優勢

聯發科技 MediaTek Genio350 具有集成 APU 和 DSP 的主流 IoT 平台,專為需要視覺和語音邊緣處理的邊緣應用而設計。例如面部、物體、手勢、動作識別、LPR、語音激活和速度識別、聲音隔離、生物技術和生物測量測量等應用。

►方案規格

 應用處理器 Arm Cortex-A53, Quad Core 64-bit, 運行時脈高達 2GHz  圖形處理器 Arm Mali-G52 MC1  人工智能處理器 MediaTek APU 1.0  記憶體 LPDDR4/LPDDR4X 時脈高達 3200Mbps, LPDDR3, DDR3/L 時脈高達 1866Mbps  影音多媒體規格 Voice Assistant Services HiFi4 DSP ISP 13MP Camera 1920x1200 *2 支持雙顯 Video Encoding 支持 H.264, H.265 / HEVC, 1080p@60p(HEVC, H264) Video Decoding 支持 H.264, H.265 / HEVC, MPEG-1/2/4, VP-9  無線連接 Wi-Fi 5 (b/g/n/ac),2.4GHz/5GHz Bluetooth 5.0  儲存裝置 eMMC 5.1, SLC/MLC/TLC, Micro SD card.  周邊介面: Audio Amplifier, DPI, Ethernet, GPIO, I2C, LVDS, HDMI, MIPI-DSI, MIPI-CSI, PDM-in, SDIO, TDM, USB2.0 OTG and Host.

相關影片

[MediaTek IoT] 基於Mediatek Genio350 的IoT之人臉偵測方案視頻

Hello 大家好,我是品佳 Apollo, 這次介紹的主題是基於 聯發科技 Mediatek Genio350 IoT 的介紹,大家可以看到目前畫面中所展示開發板為聯發科技 Genio350 的 EVK,其中不泛富豐的硬件介面,和強而有力的 Mali-G52 圖形處理器,為此提供了顯著的性能。接下來為大家演示人臉偵測功能。

透過 Camera 即時影像輸入,在 OpenCV 語法中,將影像轉成灰階後,偵測到臉部,再繪製出臉部框框,進而呈現出臉部偵測的結果。本次的介紹就到此,有興趣的朋友們,歡迎一起來探討,謝謝大家。