一、前言
機器視覺系統是指用電腦來實現人的視覺功能，也就是用電腦來實現對客觀的三維世界的識別。按理解，人類視覺系統的感受部分是視網膜，它是一個三維採樣系統。
三維物體的可見部分投影到網膜上，人們按照投影到視網膜上的二維的像來對該物體進行三維理解。(註1)
機器視覺應用範圍之廣及其所帶來的價值，促使愈來愈多企業願意採行機器視覺。根據市場研究公司Grand View Research預測，全球機器視覺市場規模將以6.9%的年複合成長率(CAGR)，從2020年的122.9億美元一路成長到2028年。一些新近建置的系統也顯示，企業看到了結合人工智慧(AI)和電腦視覺創造AI機器視覺系統的優點，不只可就所見進行分類，使用時間愈久系統還會變得更聰明，甚至可以做決定，使原本的手動作業流程或需人工介入的部份也變成自動化。(註2)
工業視覺系統主要用在檢測方面，包括用於提高生產效率、控制生產過程中的產品品質、採集產品資料等。產品的分類和選擇也整合於檢測功能中。
工業自動化機器視覺應用
在此，我們選擇使用 4 軸機械手臂 ，整合 3D 機器視覺達到物件 "影像識別" 與 "定位引導" 的功能演示。
機器視覺系統是指用電腦來實現人的視覺功能，也就是用電腦來實現對客觀的三維世界的識別。按理解，人類視覺系統的感受部分是視網膜，它是一個三維採樣系統。
三維物體的可見部分投影到網膜上，人們按照投影到視網膜上的二維的像來對該物體進行三維理解。(註1)
機器視覺應用範圍之廣及其所帶來的價值，促使愈來愈多企業願意採行機器視覺。根據市場研究公司Grand View Research預測，全球機器視覺市場規模將以6.9%的年複合成長率(CAGR)，從2020年的122.9億美元一路成長到2028年。一些新近建置的系統也顯示，企業看到了結合人工智慧(AI)和電腦視覺創造AI機器視覺系統的優點，不只可就所見進行分類，使用時間愈久系統還會變得更聰明，甚至可以做決定，使原本的手動作業流程或需人工介入的部份也變成自動化。(註2)
工業視覺系統主要用在檢測方面，包括用於提高生產效率、控制生產過程中的產品品質、採集產品資料等。產品的分類和選擇也整合於檢測功能中。
工業自動化機器視覺應用
- 尺寸量測
- 定位引導
- 影像識別
- 瑕疵檢測
二、技術
[ Stereo Vision 雙目立體視覺 ]
雙目立體視覺模擬人眼視覺系統方法，透過兩台相機相距特定距離並且拍攝同一場景得到 2D 平面相似像素進行三角測量演算來實現準確、實時的深度感知。相機圖像中的每個像素根據圖案投影機( Pattern Projector )，在物體表面位置投影高對比的紋理 (Projected Texture Stereo Vision )。透過特殊的匹配演算法，得到更準確的視差圖(Disparity Map)，而兩台相機之間的距離及相機視角與鏡頭焦距，運算得詳細 3D 像素位置，稱為 3D點雲 ( Point Cloud )。
FlexView (IDS Ensenso)
FlexView technology 為 IDS Enseso 特別技術，透過改變投影機 Pattern 投射位置物体表面紋理變化，加強視差圖細節辨識度(精度)以及降低雜訊。(註4)
三、應用及架構
在此，我們選擇使用 4 軸機械手臂 ，整合 3D 機器視覺達到物件 "影像識別" 與 "定位引導" 的功能演示。
- 機械手臂 : EPSON SCARA LS6-B602s
- 相機型號 : Ensenso N35 (Visible illumination, 465nm Flash Blue)
- 單色Monochrome CMOS sensors X 2 (Global Shutter, 1280 x 1024 pixels)
- 校正板: 200mm x 200mm
- 辨識區 AOI : 300mm x 200mm ( 應用深度 100mm )
- 工作距離 WD: 600mm
首先，環境開發為Visual Studio 2019 .NET C#，視覺 Library EnsensoSDK v3.4.715 (註5)
架設固定式視覺與機械手臂進行手眼校正 Hand-Eye Calibration ( Fixed Camera )。
校正前預備手臂姿態(含校正板)，在相機能完整辨識校正片的視野內，提供 16 個 Pattern 供演算校正檔案成功校正完成，我們觀察 Residual 的數值為 0.1252 (通常 < 1 以內為佳) 收斂結果。
我們使用3D列印設計製作一個樣品來應用在此演示中，如樓梯的結構總高度為 90mm (每層高度在 30mm)，包含辨識的 Pattern 進行視覺辨識。
以下是我們使用3D 立體視覺拍攝樣品的結果 (左) 視差圖; (中) 3D點雲圖; (右)相機左右眼拍攝照片。
拍攝得到實時 3D 點雲圖資訊，透過 EPSON 操作軟體 RC+ 通訊設定 TCPIP 與 3D 相機進行資料交握。
同時利用 2D Rectified camera 照片資訊來進行後處理，其中原始 Image Size 為 1280 x 1024。
使用 EPSON Vision Guide 建立辨識目標輸出 Pixel X,Y 及對應之 3D Point cloud ，使得到手臂座標系統 Robot X, Y, Z。
建立一個簡易 UI 操作的介面，請見最後整合完成之動作影片展示。
視頻中我們展示整合 3D 雙目立體視覺相機及機械手臂，以往 SCARA Robot 應用場合 Z 軸的高度會設定於等高較多，當擁有實時的辨識深度資訊我可將應用做到 3D 空間中，如: 鎖螺絲、曲面塗膠、堆疊取放bin picking、影像深度判別等..。
*更多機械手臂整合應用，請見 LinkTreeby@sacg_nbu
====================================================
參考資料:
註1 : 維基百科, 機器視覺
註2 : 作者 : 許凱翔, 解讀機器視覺技術與應用
註3 : 作者 : 黃燁鋒, 走過70年機器視覺發展已到哪個階段？
註4 : IDS 官方網站, Stereo Vision
註5 : Ensenso SDK手冊