NCS2是甚麼?
Intel Movidius NCS2是一款隨身碟大小的裝置，插上USB接頭即可加速AI運算，以低功耗為基礎，要求能達到高度運算負載，希望讓使用者在AI運算、高畫質圖像處理、機械視覺、類神經網路等應用，即使在Edge端沒有強大的運算資源，仍能發揮運算的角色。隨著第二代NCS2的效能大幅提升，開發者將更容易將電腦視覺與AI人工智慧整合進物聯網（IoT）及邊緣裝置的原型中。
- OpenVINO™ 是什麼?
- OpenVINO™ 是一個快速部署模擬人類視覺應用的工具包，它基於Convolutional Neural Networks (CNN)，可擴充開發者在邊緣電腦視覺運算的工作負載，更高限度的提升效能。
►OpenVINO™ 可使用於Windows、Linux作業系統
►支援OpenCV、OpenVX電腦視覺函式庫
►支援Tensorflow、Caffe、MXNet、ONNX等相關機器學習模型 - 於近幾年來，人工智慧邊緣運算（Edge AI）的發展越發重要，業界發現到若要使AI在各個應用中能夠有更完善的發揮，光靠雲端AI是不符現實的。在追求即時性的系統當中，無論是零售業中的即時廣告電子看板、運輸業的無人車或是以秒計較的製造業，都無法去等待雲端的傳輸延遲，有了Edge AI的加持，將會有下一波爆發性的成長。
- Edge AI視覺辨識的系統建置為主軸，從AI硬體加速的神經計算棒（NCS2）及AI加速工具包 － OpenVINO™ 的學習開始，認識到OpenVINO™ 所提供的各式AI應用資源。
英特爾OpenVINO工具包:
OpenVINO是一個可以加快高性能計算機視覺和深度學習視覺應用開發的工具套件，它能夠支持英特爾平臺的各種加速器，包括CPU、GPU、FPGA以及Movidius的VPU，來進行深度學習，同時能夠直接支持異構的執行。使用的對象是軟件開發人員以及開發、監控、零售、醫療、辦公自動化以及自動駕駛等領域的數據科學家。
OpenVINO對深度學習和傳統的計算機視覺這兩類方法都有很好的支持，包含一個深度學習的部署工具套件，這個工具套件可以幫助開發者，把已經訓練好的網絡模型部署到目標平臺之上進行推理操作。
這樣的一個深度學習的部署套件主要包括兩個網元，一個網元稱之爲模型優化器，另外一個被稱之爲推理引擎。模型優化可以把開發者基於一些開放的深度學習的框架所開發的網絡模型，針對所選用的目標平臺進行優化，把這些優化的結果轉換成一箇中間表示文件，建成IR文件。
下一步，推理引擎會讀取這個IR文件，然後利用相應的硬件插件把這些IR文件下載到相應目標平臺上進行執行。同時，在OpenVINO裏面，還包含一個傳統的計算機視覺的工具庫，在這個工具庫裏包含了經過預編譯的而且在英特爾CPU上已經經過優化的OpenCV3.3的版本。
除了對OpenCV的支持以外，在OpenVINO中還包含了對OpenVX以及OpenVX在神經網絡擴展的支持，同時在媒體、視頻、圖像處理領域還包含了已經非常成熟的英特爾的媒體軟件開發套件Media SDK，它可以幫助開發者非常方便的利用英特爾CPU裏面集成顯卡的資源來實現視頻的編碼、解碼以及轉碼的操作，而且支持多種視頻編解碼的格式，如H.264、H.265等。
目前比較流行的深度學習的框架主要有三個，即Caffe、Tensor Flow、MxNet，英特爾在設計OpenVINO的時候考慮到了目前開發者的習慣，所以模型優化器通過配置以後可以把這三個主要的開發框架上所開發的網絡導入到英特爾的平臺上，而且導入的過程中，會根據目標平臺的特性做一定的優化，把這些優化的結果轉換成IR文件。
文件裏會包含優化以後的網絡拓撲結構，以及優化之後的模型參數和模型變量。這個IR文件後面會被推理引擎進行讀取，推理引擎會根據開發者所選用的目標平臺去選用相應的硬件插件，把最終的文件下載到開發者的目標平臺之上。
目前所支持的插件包括CPU的插件，核心顯卡的GPU插件，FPGA的插件以及Myriad VPU的插件。
總的來說，OpenVINO的優勢有以下幾點。
首先，性能方面，通過OpenVINO，可以使用英特爾的各種硬件的加速資源，包括CPU、GPU、VPU、FPGA，這些資源能夠幫助開發者提升深度學習的算法在做推理的時候的性能，而且執行的過程中支持異構處理和異步執行，能夠減少由於系統資源等待所佔用的時間。
另外，OpenVINO使用了經過優化以後的OpenCV和OpenVX，同時提供了很多應用示例，可以縮短開發時間。這些庫都支持異構的執行，編寫一次以後可以通過異構的接口支撐跑在其他的硬件平臺之上。
在深度學習方面，OpenVINO帶有模型優化器、推理引擎以及超過20個預先訓練的模型，開發者可以利用提供的這些工具，快速的實現自己基於深度學習的應用，而且OpenVINO使用了OpenCV、OpeenVX的基礎庫，可以利用這些基礎庫去開發自己特定的算法，實現自己的定製和創新。
評論