Intel OpenVINO 2023.1 最新版本發行! 重點節錄.

OpenVINO: Tap into Generative AI with high performance, deep learning inference

全新的OpenVINO™工具包2023.1版本現已推出。此版本聚焦於生成式AI，旨在更輕鬆實現專案生產化。2023.1版本包括新功能、擴增大型語言模型（LLM）覆蓋範圍，以及針對TensorFlow和PyTorch用戶提供更多性能優化選擇。通過最小化代碼更改，開發者被賦予專注於重要事務的權力：構建下一個能夠在任何地方運行的優秀AI應用程式。

Intel® Distribution of OpenVINO™ toolkit是一個針對優化和部署AI推論的開源解決方案，涵蓋領域包括計算機視覺、自動語音識別、自然語言處理、推薦系統; 不僅如止於此，隨著2023.1版本的問世，還能實現生成式AI (Generative AI)! OpenVINO具有可插入架構，允許開發者編寫一次並在任何地方部署 (Write once. Deploy anywhere!)。

隨著OpenVINO 2023.1版本的發佈，引入了一系列新功能、改進和棄用項目，旨在更好地提升開發者的使用體驗。

OpenVINO™ toolkit的特點：

• 可以使用popular deep learning frameworks（如TensorFlow和PyTorch）訓練的模型。
• 通過應用模型重新訓練或微調進行深度學習模型的優化，例如後訓練量化。
• 支持在Intel硬體上進行異構執行，使用Intel CPU、Intel集成圖形、Intel獨立顯卡和其他常用加速器的共同API。

2023.1的新變化

主要功能和改進摘要：

更豐富的生成式AI選項與Hugging Face以及改進的PyTorch模型支援。

• 新功能：現在使用PyTorch解決方案更進一步提升了OpenVINO的性能。加載模型時能更彈性地，不再需要轉換為ONNX進行部署。開發者現在可以使用他們喜歡的API - PyTorch或OpenVINO，以獲得更好的性能。此外，用戶可以自動導入和轉換PyTorch模型，以實現更快速的部署。您可以繼續充分利用OpenVINO工具進行高級模型壓縮和部署，確保靈活性和多種選擇。

• torch.compile（預覽）：現在OpenVINO通過PyTorch torch.compile作為後端可用，使開發者能夠通過PyTorch API使用OpenVINO工具包。此功能還已集成到Automatic1111 Stable Diffusion Web UI中，幫助開發者在Intel CPU和GPU上實現對Stable Diffusion 1.5和2.1的加速性能。

• Optimum Intel：Hugging Face和Intel繼續通過優化執行來增強頂級生成式AI模型，使模型在CPU和GPU上運行更快且更有效。OpenVINO作為推論執行的運行時。啟用了新的PyTorch自動導入和轉換功能，還支持權重壓縮以實現進一步的性能增益。

更廣泛的LLM模型支持和更多模型壓縮技術

• 為生成式AI的性能和可訪問性進行了顯著優化：對運行時性能和內存使用進行了顯著優化，特別是對大型語言模型（LLMs）。已啟用用於聊天機器人、指令跟蹤、代碼生成等多種模型，包括BLOOM、Dolly、Llama 2、GPT-J、GPTNeoX、ChatGLM和Open-Llama等知名模型。

• 在GPU上改進LLMs：擴展了對動態形狀支持的模型範圍，進一步提高了生成式AI工作負載在集成和獨立GPU上的性能。此外，改進了動態形狀的內存重用和權重內存消耗。

• 神經網絡壓縮框架（NNCF）現在包括8位權重壓縮方法，使壓縮和優化LLM模型更加簡便。為Transformer-based模型添加了SmoothQuant方法，以實現更精確和高效的後訓練量化。
  
  

更高的可移植性和性能，實現在邊緣、雲端或本地運行AI。

• 新功能：支援Intel® Core™ Ultra（代號Meteor Lake）。這一新一代的Intel CPU專為在AI工作負載中表現卓越而設計，內建推論加速器。

• 與MediaPipe的集成：開發者現在可以直接訪問這個框架，用於構建多用途的AI管道。輕鬆與OpenVINO Runtime和OpenVINO模型服務器集成，以提高AI模型執行速度。您還可以從無縫模型管理和版本控制中受益，並通過額外的計算器和圖形進行自定義邏輯集成，為定制的AI解決方案提供支持。最後，您可以通過gRPC/REST界面將部署委派給遠程主機，以進行分布式處理，實現更快的擴展。

支援更改和棄用通知

OpenVINO™開發工具（pip install openvino-dev）目前正在被棄用，將在2025.0版本中從安裝選項和發行通道中移除。

Tools：
- Accuracy Checker已棄用，將在2024.0版本中停止。 
- 後訓練優化工具（POT）已棄用，將在2024.0版本中停止。 

Runtime：
- Intel® Gaussian & Neural Accelerator（Intel® GNA）已棄用，GNA插件將在2024.0版本中停止。 
- Python API推斷方法的shared_memory參數已棄用，並由新的share_inputs參數取代。
- OpenVINO C++/C/Python 1.0 API將在2024.0版本中停止。 
- Python 3.7將在2023.2 LTS版本中停止。

OpenVINO™開發工具

組件列表及其更改：
引入了新的OpenVINO轉換器工具（OVC）的預覽。該工具提供了與Model Optimizer相似的功能，被設計為其輕量級版本，具有以下區別：
- 預處理選項（如佈局、通道反轉、均值和縮放）應通過預處理API應用，不支持在OVC中。
- 模型文件不帶input_model參數指定，框架將自動檢測。

轉換API（Model Optimizer） :
- convert_model Python API現在在openvino命名空間中可用。
- Model Optimizer工具默認生成具有壓縮權重的中間表示或IR文件。 --compresss_to_fp16選項可用於控制此行為。convert_model保留生成的OpenVINO模型對象的原始權重。

神經網絡壓縮框架（NNCF）：
- 添加了SmoothQuant方法，用於更準確的基於Transformer的模型的後訓練量化。
- 引入了新的nncf.compress_weights() API和對OpenVINO和PyTorch LLMs的8位權重壓縮方法的初步支援。
- 在後訓練量化中添加了超參數調整方法。啟用時，它會自動找到最有效的量化結果的超參數。
- 通過ChannelAlignment算法擴展了OpenVINO的後訓練量化，以獲得更準確的量化結果。
- 通過Fast Bias Correction算法擴展了PyTorch的後訓練量化，以獲得更準確的量化結果。有關詳細信息，請參閱NNCF Release Notes。

另外, Benchmark工具 允許您估算支持的設備上深度學習推論性能，支持同步和異步模式。 

OpenVINO™ Runtime（先前稱為Inference Engine）:
Overall update:
- Proxy和hetero插件已遷移至API 2.0，提供了增強的兼容性和穩定性。
- 現在提供符號形狀推斷預覽，從而提高了LLM性能。
- OpenVINO的圖表示已升級為opset12，引入了一組新的操作，提供了增強的功能和優化。 

OpenVINO Python API Python:
- 轉換API現在是主要的轉換路徑，使Python開發人員更容易使用OpenVINO。 
- Python API推斷方法（如InferRequest.infer、CompiledModel.call）現在有了新的參數，稱為share_inputs和share_outputs，允許控制輸入和輸出推斷的內存共享。啟用共享內存模式將產生“零拷貝”方法，通過減少拷貝數量減少內存消耗和計算開銷。
- torchvision.transforms對象已添加到OpenVINO預處理中，允許用戶將torchvision預處理嵌入到IR中。
- 所有與OpenVINO相關的Python工具都已移入單一命名空間，提高了用戶體驗，增強了API的可讀性。

其他更詳細訊息, 請造訪https://www.intel.com/content/www/us/en/developer/articles/release-notes/openvino/2023-1.html