在制造业、金属加工业、食品业产线上仍然有不少上下料工作需仰赖人工进行，但是面临高龄少子化时代的冲击，缺工情况日益严重，机器人进行自动化上下料需求逐渐浮现。但是以往的自动化上下料往往只解决了问题的一半，不少难以自动化进行上下料的情况是工件散乱堆放于容器内，如零组件、金属粗胚、食品包装等。相比人类，对机器人来说，从容器中取出随机排放的零件，再将其精确地放入机器中却是困难重重。
为改善这些应用缺陷，市场积极发展机器人随机取放( Random Bin Picking)技术，同时结合AI、3D视觉，可借此辨识物件包括位置、姿态与摆放顺序等资讯，透过AI自适应夹取路径与取放动作，由于工件不需事先整理及排列即可被辨识，因此能有效提升许多工厂的生产效率。
为改善这些应用缺陷，市场积极发展机器人随机取放( Random Bin Picking)技术，同时结合AI、3D视觉，可借此辨识物件包括位置、姿态与摆放顺序等资讯，透过AI自适应夹取路径与取放动作，由于工件不需事先整理及排列即可被辨识，因此能有效提升许多工厂的生产效率。
比如在金属加工产业中，研磨与抛光两个制程至今仍大量仰赖人工作业，像是水五金制品具有如孔洞、多重曲面的复杂外形，因此其较难以导入自动化。但目前于台湾水五金产业在研磨抛光制程的缺工越来越严重，这使得市场对于研磨抛光机器人的需求增强，在3D视觉与虚实整合系统辅助下，对于具有复杂研磨抛光路径需求的机器人来说，可降低其在路径生成的难度，并达到加工稳定。
另外包括纺织、制鞋、食品加工等轻工业的机器人应用也在成长中，渐渐往自动化、智慧化发展。例如制鞋业在涂胶制程与研磨抛光遭遇相同加工路径复杂之问题，现也透过3D视觉引导改善，或有厂商开发协助成衣业者改善打样流程的机器手臂。
方案介绍
这方案的组成有:
1. Intel Realsense D415 Camera: 撷取3D 物件影像资料并透过USB 将影像资料送到Edge AI System.
2. Edge AI System with Intel OpenVino toolkit: 透过影像分析与深度学习算法辨识物件位置、姿态的资讯(X,Y,Z,Rx,Ry,Rz)。另外也可以将辨识到的物件种类、状况等资讯传送到云端或本地端透过仪表板呈现物件资讯
3. Robot Arm: 执行获得的物件位置、姿态资讯(X,Y,Z,Rx,Ry,Rz)，夹取物件。与Edge AI System 透过TCP/IP 界面来沟通。
我们将Edge AI System 与 Robot Arm 间透过TCP/IP 协定来互相沟通，并定义command message。如此可加快AI 辨识方案的快速部属。
Robot Arm command Flow Chart
Command message type
