為改善這些應用缺陷，市場積極發展機器人隨機取放( Random Bin Picking)技術，同時結合AI、3D視覺，可藉此辨識物件包括位置、姿態與擺放順序等資訊，透過AI自適應夾取路徑與取放動作，由於工件不需事先整理及排列即可被辨識，因此能有效提升許多工廠的生產效率。
比如在金屬加工產業中，研磨與拋光兩個製程至今仍大量仰賴人工作業，像是水五金製品具有如孔洞、多重曲面的複雜外形，因此其較難以導入自動化。但目前於台灣水五金產業在研磨拋光製程的缺工越來越嚴重，這使得市場對於研磨拋光機器人的需求增強，在3D視覺與虛實整合系統輔助下，對於具有複雜研磨拋光路徑需求的機器人來說，可降低其在路徑生成的難度，並達到加工穩定。
另外包括紡織、製鞋、食品加工等輕工業的機器人應用也在成長中，漸漸往自動化、智慧化發展。例如製鞋業在塗膠製程與研磨拋光遭遇相同加工路徑複雜之問題，現也透過3D視覺引導改善，或有廠商開發協助成衣業者改善打樣流程的機器手臂。
方案介紹
這方案的組成有:
1. Intel Realsense D415 Camera: 擷取3D 物件影像資料並透過USB 將影像資料送到Edge AI System.
2. Edge AI System with Intel OpenVino toolkit: 透過影像分析與深度學習演算法辨識物件位置、姿態的資訊(X,Y,Z,Rx,Ry,Rz)。另外也可以將辨識到的物件種類、狀況等資訊傳送到雲端或本地端透過儀表板呈現物件資訊
3. Robot Arm: 執行獲得的物件位置、姿態資訊(X,Y,Z,Rx,Ry,Rz)，夾取物件。與Edge AI System 透過TCP/IP 介面來溝通。
我們將Edge AI System 與 Robot Arm 間透過TCP/IP 協定來互相溝通，並定義command message。如此可加快AI 辨識方案的快速部屬。
Robot Arm command Flow Chart
Command message type
►場景應用圖
►產品實體圖
►展示板照片
►方案方塊圖
►坐標軸轉換代碼
►Intel RealSense Camera 擷取影像代碼
►提供方案說明
►核心技術優勢
1. Intel RealSense D415 camera a. 低成本的3D雙目深度相機 b. 提供完整SDK 可以快速與系統整合 c. 可快速掃瞄，提供點雲資訊 d. 可透過ROS整合開發自主創新功能 e. 智能化3D物件辨識 2. Intel OpenVino Toolkit a. 可最佳化訓練好的模型 b. 支援業界、學界常用的訓練框架 c. 可快速部屬到intel 的硬體平台如CPU、GPU、VPU、FPGA d. 提供常用的預訓練模型如SSD、YOLO 等 e. 提供C++ 與Python 的應用範例，縮短程式開發週期 3. 3D 物件夾取系統方案 a. 可自動夾取與放置物件 b. 客製化的物件辨識(可依客戶需求再訓練模型) c. 透過標準TCP/IP 介面傳輸物件夾取資訊
►方案規格
1. 3D相機: Intel RealSense D415 Camera 2. 作業系統: UBuntu 16.04 3. Intel NUC Rugged Board with Core i3/i5 Processor 4. AI 推論套件: Intel OpenVino Toolkit 2020.03 5. 記憶體: 4GB 以上 6. 傳輸介面: USB 3.0 and TCP/IP 介面 7. 機器手臂: 6軸手臂、4軸手臂 with TCP/IP 介面 8. 加速卡: Intel® Movidius™ Myriad™ X Edge AI Module VEGA-320-01A1