基于 Intel OpenVino 与 Realsense Camera 的3D 物件夹取系统方案

在制造业、金属加工业、食品业产线上仍然有不少上下料工作需仰赖人工进行,但是面临高龄少子化时代的冲击,缺工情况日益严重,机器人进行自动化上下料需求逐渐浮现。但是以往的自动化上下料往往只解决了问题的一半,不少难以自动化进行上下料的情况是工件散乱堆放于容器内,如零组件、金属粗胚、食品包装等。相比人类,对机器人来说,从容器中取出随机排放的零件,再将其精确地放入机器中却是困难重重。

为改善这些应用缺陷,市场积极发展机器人随机取放( Random Bin Picking)技术,同时结合AI、3D视觉,可借此辨识物件包括位置、姿态与摆放顺序等资讯,透过AI自适应夹取路径与取放动作,由于工件不需事先整理及排列即可被辨识,因此能有效提升许多工厂的生产效率。  

比如在金属加工产业中,研磨与抛光两个制程至今仍大量仰赖人工作业,像是水五金制品具有如孔洞、多重曲面的复杂外形,因此其较难以导入自动化。但目前于台湾水五金产业在研磨抛光制程的缺工越来越严重,这使得市场对于研磨抛光机器人的需求增强,在3D视觉与虚实整合系统辅助下,对于具有复杂研磨抛光路径需求的机器人来说,可降低其在路径生成的难度,并达到加工稳定。

  另外包括纺织、制鞋、食品加工等轻工业的机器人应用也在成长中,渐渐往自动化、智慧化发展。例如制鞋业在涂胶制程与研磨抛光遭遇相同加工路径复杂之问题,现也透过3D视觉引导改善,或有厂商开发协助成衣业者改善打样流程的机器手臂。

  
方案介绍

  这方案的组成有:
1. Intel Realsense D415 Camera: 撷取3D 物件影像资料并透过USB 将影像资料送到Edge AI System. 
2. Edge AI System with Intel OpenVino toolkit: 透过影像分析与深度学习算法辨识物件位置、姿态的资讯(X,Y,Z,Rx,Ry,Rz)。另外
也可以将辨识到的物件种类、状况等资讯传送到云端或本地端透过仪表板呈现物件资讯
3. Robot Arm: 执行获得的物件位置、姿态资讯(X,Y,Z,Rx,Ry,Rz),夹取物件。与Edge AI System 透过TCP/IP 界面来沟通。

  我们将Edge AI System 与 Robot Arm 间透过TCP/IP 协定来互相沟通,并定义command message。如此可加快AI 辨识方案的快速部属。 
Robot Arm command Flow Chart

command


Command message type
command

场景应用图

sceneryUrl

产品实体图

imgUrl

展示版照片

frontUrlbackUrl

方案方块图

funcUrl

坐标轴转换代码

other1Url

Intel RealSense Camera 撷取影像代码

other2Url

提供方案说明

other3Url

核心技术优势

1. Intel RealSense D415 camera a. 低成本的3D双目深度相机 b. 提供完整SDK 可以快速与系统整合 c. 可快速扫瞄,提供点云资讯 d. 可透过ROS整合开发自主创新功能 e. 智能化3D物件辨识 2. Intel OpenVino Toolkit a. 可最佳化训练好的模型 b. 支援业界、学界常用的训练框架 c. 可快速部属到intel 的硬体平台如CPU、GPU、VPU、FPGA d. 提供常用的预训练模型如SSD、YOLO 等 e. 提供C++ 与Python 的应用范例,缩短程式开发周期 3. 3D 物件夹取系统方案 a. 可自动夹取与放置物件 b. 客制化的物件辨识(可依客户需求再训练模型) c. 透过标准TCP/IP 界面传输物件夹取资讯

方案规格

1. 3D相机: Intel RealSense D415 Camera 2. 作业系统: UBuntu 16.04 3. Intel NUC Rugged Board with Core i3/i5 Processor 4. AI 推论套件: Intel OpenVino Toolkit 2020.03 5. 记忆体: 4GB 以上 6. 传输界面: USB 3.0 and TCP/IP 界面 7. 机器手臂: 6轴手臂、4轴手臂 with TCP/IP 界面 8. 加速卡: Intel® Movidius™ Myriad™ X Edge AI Module VEGA-320-01A1

相关视频

基於 Intel OpenVino 與 Realsense Camera 的3D 物件夾取系統方案

Sertek Can help AI enabling for 3D bin picking