在製造業、金屬加工業、食品業產線上仍然有不少上下料工作需仰賴人工進行，但是面臨高齡少子化時代的衝擊，缺工情況日益嚴重，機器人進行自動化上下料需求逐漸浮現。但是以往的自動化上下料往往只解決了問題的一半，不少難以自動化進行上下料的情況是工件散亂堆放於容器內，如零組件、金屬粗胚、食品包裝等。相比人類，對機器人來說，從容器中取出隨機排放的零件，再將其精確地放入機器中卻是困難重重。

為改善這些應用缺陷，市場積極發展機器人隨機取放( Random Bin Picking)技術，同時結合AI、3D視覺，可藉此辨識物件包括位置、姿態與擺放順序等資訊，透過AI自適應夾取路徑與取放動作，由於工件不需事先整理及排列即可被辨識，因此能有效提升許多工廠的生產效率。  

比如在金屬加工產業中，研磨與拋光兩個製程至今仍大量仰賴人工作業，像是水五金製品具有如孔洞、多重曲面的複雜外形，因此其較難以導入自動化。但目前於台灣水五金產業在研磨拋光製程的缺工越來越嚴重，這使得市場對於研磨拋光機器人的需求增強，在3D視覺與虛實整合系統輔助下，對於具有複雜研磨拋光路徑需求的機器人來說，可降低其在路徑生成的難度，並達到加工穩定。

  另外包括紡織、製鞋、食品加工等輕工業的機器人應用也在成長中，漸漸往自動化、智慧化發展。例如製鞋業在塗膠製程與研磨拋光遭遇相同加工路徑複雜之問題，現也透過3D視覺引導改善，或有廠商開發協助成衣業者改善打樣流程的機器手臂。

  
方案介紹

  這方案的組成有:
1. Intel Realsense D415 Camera: 擷取3D 物件影像資料並透過USB 將影像資料送到Edge AI System. 
2. Edge AI System with Intel OpenVino toolkit: 透過影像分析與深度學習演算法辨識物件位置、姿態的資訊(X,Y,Z,Rx,Ry,Rz)。另外也可以將辨識到的物件種類、狀況等資訊傳送到雲端或本地端透過儀表板呈現物件資訊
3. Robot Arm: 執行獲得的物件位置、姿態資訊(X,Y,Z,Rx,Ry,Rz)，夾取物件。與Edge AI System 透過TCP/IP 介面來溝通。

  我們將Edge AI System 與 Robot Arm 間透過TCP/IP 協定來互相溝通，並定義command message。如此可加快AI 辨識方案的快速部屬。 
Robot Arm command Flow Chart




Command message type