英特爾 OPENVINO DevCloud 協助您決定您AI應用所需要的硬體

英特爾OpenVino DevCloud 服務

OpenVino DevCloud 是什麼 ? 

Intel® 邊緣運算 DevCloud 是一項雲服務，旨在幫助開發人員使用英特爾® OpenVINO™ 工具套件構建原型並試驗計算機視覺應用。註冊後，開發人員可訪問一系列基於 Python 和 C++ 的 Jupyter* Notebook 教程和示例解決方案，並通過 Web 瀏覽器直接執行它們。之後，開發人員可創建自己的 Jupyter* Notebook，並在專門用於深度學習推理的Intel® 硬件解決方案上試用。

 Intel® DevCloud for the Edge 預裝了英特爾® OpenVINO™ 工具套件，幫助開發人員在一系列計算設備上執行推理，OpenVINO™ 工具套件旨在加速開發可模擬人類視覺的應用和解決方案。該工具套件基於卷積神經網絡 (CNN)，可在Intel® 硬件（包括加速器）中擴展工作負載並最大限度地提升性能。

 
Intel® 邊緣運算 DevCloud 的優勢

 

1. 快速訪問完整的Intel® 開發解決方案及軟硬件，僅通過互聯網連接即可輕鬆開發深度學習和計算機視覺應用。
2. 訪問預裝了英特爾® OpenVINO™ 工具套件（CPU、iGPU、VPU 和 FPGA）的完整配置的物理邊緣機器，該工具套件托管在搭載Intel® Xeon®可擴展處理器的雲環境中。
3. 能夠評估並選擇最適合應用的Intel®硬件加速選項。
4. 英特爾® OpenVINO™ 工具套件提供龐大的預訓練模型庫，並支持上傳自定義預訓練模型，從而評估最適合您的獨特應用的框架、拓撲和硬件加速解決方案。

 

英特爾® DevCloud for the Edge

The Intel® DevCloud for the Edge 支持您在英特爾硬件上主動構建原型並試驗面向計算機視覺的 AI 工作負載。 

我們的硬件平台托管在雲環境中，專門用於深度學習，您可以全面訪問這些平台。您可以使用英特爾® OpenVINO™ 工具套件以及 CPU、GPU 和 VPU（如Intel® 神經計算棒 2 (NCS2) 和Intel® Arria® 10 等 FPGA）的組合來測試模型的性能。

DevCloud 包含了豐富的 Jupyter* Notebook 教程和示例，可幫助您快速入門。它們包括英特爾® OpenVINO™ 工具套件中經過訓練的模型、樣本數據和可執行代碼，以及其他深度學習工具。這些 Notebook 可幫助您快速瞭解如何實施深度學習應用以支持高性能解決方案。

我們的 AI 硬件可以等待您完成邊緣推理工作原型的構建。 Intel® DevCloud 不需要您設置任何硬件。DevCloud 使用 Jupyter* Notebook 直接在 Web 瀏覽器中執行代碼。Jupyter*是基於瀏覽器的開發環境，支持您運行代碼並立即可視化運行結果。您可以在我們的雲環境中構建創新的計算機視覺解決方案原型，然後利用可用的硬件資源執行代碼。

Intel® DevCloud for the Edge 包括： 開發節點，您可與之交互，開發代碼和提交計算工作。 邊緣節點，包含供您運行和測試邊緣工作負載的推理設備。 存儲服務器，它提供網絡共享文件系統，支持通過雲環境中的任意一台機器，以相同的路徑訪問您的所有數據。 隊列服務器，您可與之交互，將計算工作提交至邊緣節點。 UI 軟件，支持您通過 Web 瀏覽器訪問Intel® DevCloud 資源。

  

 

可用硬件

我們在 DevCloud 中托管了邊緣計算平台和設備，可供您構建和測試原型。將工作提交至硬件平台，包括特定的目標架構或 CPU、GPU、VPU、FPGA 架構組合，然後查看實時性能結果。我們的教程和示例為您提供了所需的代碼，可幫助您在加速的硬件上開發應用型計算視覺用例。投資硬件解決方案之前，您可以創建自己的 Jupyter* Notebook 並測試結果。

 

代碼準備好後，您可以在開發服務器的 CPU 上運行代碼，或者將代碼發送至Intel® DevCloud 中的一個或多個邊緣計算硬件集群，以加速推理。通過這些試驗，您可以完全瞭解所需的知識，避免潛在的陷阱、優化性能、確認需要採購的硬件，以及加快產品上市速度。

 

Intel® DevCloud 中的邊緣計算節點配備 CPU，後者通常採用集成高清圖形處理器。此外，部分節點通過 PCIe 或 USB 總線連接了計算加速器。我們將 CPU、圖形處理器和加速器統稱為 「計算設備」 。在英特爾® OpenVINO™ 工具套件的幫助下，這些設備都可以用於機器學習推理。

 

如果在 DevCloud 中研究邊緣計算解決方案的性能，您可以通過 (i) 請求採用該加速器的節點 並 (ii) 使用與該計算設備對應的 OpenVINO IEPlugin，確定特定的計算設備。不過需要注意的是，針對特定計算設備的應用在不同邊緣節點群中性能略有不同。這是因為在異構系統（CPU + 加速器）中，推理應用的性能同時取決於 CPU 和加速器。

 

設備列表

 

Processor	RAM	Integrated GPU	Inference Accelerator
Intel® Atom® x5-E3940	4 GB	Intel® HD Graphics 500
Intel® Atom® x7-E3950	2 GB	Intel® HD Graphics 505
Intel® Atom® x7-E3950	4 GB	Intel® HD Graphics 505
Intel® Atom® x7-E3950	4 GB	Intel® HD Graphics 505	Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x1
Intel® Core™ i5 6500TE	8 GB	Intel® HD Graphics 530
Intel® Core™ i5 6500TE	8 GB	Intel® HD Graphics 530	Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x8
Intel® Core™ i5 6500TE	8 GB	Intel® HD Graphics 530	Intel® Arria® 10 FPGA
Intel® Core™ i5 6500TE	8 GB	Intel® HD Graphics 530	Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x1
Intel® Core™ i5 6442EQ	8 GB	Intel® HD Graphics 530
Intel® Core™ i5 7500T	8 GB	Intel® HD Graphics 630
Intel® Core™ i5 7500	8 GB	Intel® HD Graphics 630
Intel® Core™ i7 8665UE	16 GB	Intel® UHD Graphics 620	Intel® Movidius™ Myriad™ X based Intel® Vision Accelerator Design cards – x2
Intel® Core™ i5 8365UE	8 GB	Intel® UHD Graphics 620
Intel® Core™ i7 8665UE	16 GB	Intel® UHD Graphics 620
Intel® Xeon® E3 1268L v5	32 GB	Intel® HD Graphics 505
Intel® Xeon® Gold 5120	384 GB
Intel® Xeon® Bronze 3206R	48 GB
Intel® Xeon® Silver 4214R	48 GB
Intel® Xeon® Gold 5220R	96 GB
Intel® Xeon® Gold 6258R	96 GB
Intel® Xeon® E-2286M Processor	32 GB	Intel® HD Graphics 630
Intel® Core™ i7-10710U Processor	16 GB	Intel® UHD Graphics
Intel® Core™ i7-1065G7 Processor	16 GB	Intel® Iris Plus Graphics G7

英特爾，英特爾徽標，英特爾凌動，英特爾酷睿，英特爾至強，Movidius和Myriad是英特爾

公司或其子公司的商標。

Intel® DevCloud中的Jupyter* Notebook入門

註冊和登錄

無需註冊即可訪問大量Intel®邊緣運算 DevCloud 文件。您需要註冊一個Intel®邊緣運算 DevCloud 帳戶，以便探索、運行示例、上傳代碼和測試應用。

1. 在 主頁, 單擊 上單擊右上角的 登陸
2. 點擊 註冊 並按照提示輸入所需信息。
3. 您的Intel®邊緣運算 DevCloud 帳戶將在 48 小時內收到一封邀請電子郵件。
4. 為了提高安全性，Intel®邊緣運算 DevCloud 帳戶處於雙重身份驗證保護之中。請查看您的電子郵件，獲取 6 位安全代碼。將電子郵件中包含 uuid 參數的完整 URL 複製/粘貼到瀏覽器窗口中。支持當前所有的 Web 瀏覽器。
5. 按照提示完成您的Intel® DevCloud 帳戶註冊。
6. 完成帳戶註冊後，可隨時返回主頁並單擊右上角的 登錄 訪問您的帳戶。

每次登錄時，右上角都會顯示您可以訪問面向邊緣的Intel® DevCloud 資源的總天數。您可以在門戶網站中請求延長天數。

為了提高安全性，Intel®邊緣運算 DevCloud 帳戶處於雙重身份驗證保護之中。請查看您的電子郵件，獲取 6 位安全代碼。

 

入門教程

 

如果要探索關於分類、對象檢測和風格轉換的基本概念，可前往 DevCloud 入門部分的 教程. 這些示例在開發機器的 CPU 上運行。 如果要訪問其他加速器硬件, 按照 示例應用 的說明進行操作。

如果要探索英特爾® OpenVINO™ 工具套件中的關於在 CPU 上執行圖像分類、對象檢測和風格轉換的示例，請單擊 入門 → 教程。

 這些 Jupyter* Notebook 教程使用英特爾® OpenVINO™ 工具套件中包含的示例介紹關於深度學習的一些基本概念。

通過單擊圖標或 試用 打開教程，在單獨的瀏覽器選項卡中打開 Jupyter* Notebook。

 

高級示例應用 

用戶操作流程

DevCloud高級部分的所有參考示例均在搭載Intel® Xeon® 可擴展處理器的開發服務器的 Jupyter* Notebook 環境中運行。Jupyter* Notebook 將腳本提交至工作隊列，以在具備各種硬件加速選項（如 GPU、VPU 和 FPGA）的托管邊緣計算服務器上運行推理。

 

第 1 步和第 2 步：開發

• 編輯 Jupyter* Notebook 提供的參考示例中的代碼。
• 分步瞭解並運行代碼，以使用 OpenVINO 下載預訓練模型，並使用模型優化器準備模型。
• 設置預錄視頻或實時視頻流的路徑。

第 3 步和第 4 步：工作提交

• 學習以目標邊緣加速器（CPU、GPU、VPU 或 FPGA）形式提供的硬件選項。
• 將應用提交至工作隊列，以在特定邊緣計算節點上運行推理，或在多個邊緣計算節點上並行運行推理。

第 5 步和第 6 步：結果

• 在 Jupyter* Notebook 中查看推理結果。

 

包含實際用例的參考示例經過了整理（按市場應用），您可以單擊 高級 → 示例應用.

例如，安全裝備檢測參考示例演示了如何在面向邊緣的Intel® DevCloud 上運行推理。

1. 單擊圖標或試用，在單獨的瀏覽器選項卡中打開 Jupyter* Notebook 範例。 
2. 按照 Jupyter* Notebook 中的說明測試性能，並對比不同目標加速器解決方案的結果。Jupyter* Notebook 還提供關於每個示例應用的詳細信息。

 

安全裝備示例應用摘要

目標： 檢測預錄視頻流中的人，檢測他們是否佩戴安全裝備，如安全帽、安全背心等。

第 0 步： 導入所需的 python 程序包，以運行應用，並支持查看未經推理的原始視頻。

第 1 步： 向開發人員展示需瞭解的步驟。

• 如何使用 OpenVINO™ 工具套件的模型優化器下載預訓練原始模型，並將其轉換為 IR (Intermediate Representation) 格式。
• 詳細介紹如何在視頻的單個幀上運行推理，並顯示邊界框，
• 本節的最後，開發人員會看到一張圖像，其中包含檢測到安全裝備（安全帽、安全背心）的邊界框，如下圖所示。 （需要注意的是，我們仍然在開發服務器（僅 CPU）上運行這部分應用）。

 

第 2 步： 通過將工作提交至工作服務器，可以對整個視頻片段進行推理，服務器安排工作請求隊列，以便目標硬件可用後立即執行工作。

• 開發人員將學習如何編寫工作文件。
• 如何使用命令確定可運行該工作的硬件類型（邊緣單元製作、CPU 生成、硬件加速等）。
• 將路徑改為視頻，可以更改預錄視頻流。
• 如何提交工作，以便工作在特定 CPU、iGPU、VPU 或 FPGA 的邊緣計算節點上運行，或在上述所有硬件上同時運行。
• 在Edge上執行作業後，開發人員將能夠查看每個硬件的結果。
• 顯示推理機處理時間和推理機fps的摘要：

 

上圖顯示了 Notebook 中最後一個代碼塊（第 4 步 – 評估性能）運行時所生成的性能數據。

 

連接和創建

完成練習後，您就可以創建自己的應用了。單擊 高級 → 連接和創建

單擊 我的文件。Jupyter* Hub 將啓動，並在瀏覽器中顯示關於您的Intel® DevCoud 帳戶的文件瀏覽器視圖。

在 Jupyter* Hub 中單擊 New 下拉按鈕，並選擇 Terminal.

單擊 My Notebooks

終端實例啓動後，創建一個新目錄並複製 GitHub 存儲庫。

mkdir MyProjects
cd MyProjects
git clone https://github.com//.git
cd

在這裡，  和  是佔位符； 用實際的 GitHub* 存儲庫 URL 替換它們。現在，您可以在 Jupyter* 的 ~/MyProjects/ 下查看從 GitHub* 拷貝的程式。

 
如何請求

 

如果要請求特定設備的邊緣計算節點，請提交作業請求，請求具有 「隊列標籤」 列中所列屬性的節點。例如：

Qsub -l nodes=1:i5-6500te myscript.sh

此命令確保目標系統具有Intel Core i5 6500TE CPU；但是，它沒有指定邊緣計算節點的類型。因此，要為作業指定所需的系統類型，請確保請求與所需邊緣節點組相對應的屬性，如下所述。

 

如何使用

 

如果要在基於 OpenVINO 開發的應用上使用計算設備，可以使用 「OpenVINO Device」 欄所列的設備參數初始化 IEPlugin 對象。例如，用 Python 語言編寫、用於初始化插件的命令行如下所示：

From openvino.inference_engine import IEPlugin

Plugin = IEPlugin(device=”CPU”)

 

浮點模型

 

“ FP model “欄列出了適用於每台設備的浮點模型。運行模型優化器時，所使用的參數 –data-type 應設為適用於所選設備的浮點模型，如：

/opt/intel/openvino/deployment_tools/model_optimizer/mo.py –input_model … --data_type FP32

 

關於邊緣計算

 

邊緣計算指靠近或嵌入至智能終端設備的計算資源。許多 AI 解決方案都可以利用邊緣計算降低延遲、提高可用性，以及管理數據隱私。這些解決方案包括自動駕駛、零售分析、安全性和工業自動化。

技術支援

可通過面向邊緣論壇的英特爾®DevCloud獲得技術支持。 單擊右上角的論壇。這將在單獨的瀏覽器選項卡中打開“英特爾®論壇”頁面。如果您還沒有英特爾®IDZ帳戶，則需要創建一個。註冊快速，簡單，免費。