英特爾發行版 OpenVINO 工具包2025.3

什麼是新的？

• 更多生成式 AI 覆蓋範圍和框架集成，以最大限度地減少代碼更改
  • 支援的新型號：Phi-4-mini-reasoning、AFM-4.5B、Gemma-3-1B-it、Gemma-3-4B-it 和 Gemma-3-12B。
  • 新增 NPU 支援：Qwen3-1.7B、Qwen3-4B 和 Qwen3-8B。
  • 針對 NPU 優化的 LLM 現已在 OpenVINO Hugging Face 系列中提供。
  • 預覽版：Intel® Core™ Ultra 處理器和基於 Windows 的 AI PC 現在可以利用適用於 Windows* ML 的 OpenVINO™ 執行提供者，在 Windows* 上獲得高效能、現成的啟動體驗。
• 更廣泛的 LLM 模型支援和更多模型壓縮最佳化技術
  • NPU 插件增加了對高達 8K 令牌的更長上下文、動態提示和動態 LoRA 的支持，以提高 LLM 性能。
  • NPU 插件現在通過將模型重塑為 1 的批量大小並同時管理多個推理請求來支持動態批量大小，從而增強性能並優化內存利用率。
  • 除了現有的 KV 快取每令牌壓縮方法外，透過實施按通道金鑰快取壓縮技術，GenAI 模型在內建和離散圖形上的準確性提高。
  • OpenVINO™ GenAI 引入了 TextRerankPipeline，以提高檢索相關性和 RAG 管道準確性，以及結構化輸出，以增強回應可靠性和函數調用，同時確保遵守預先定義的格式。
• 更高的可攜性和效能，可在邊緣、雲端或本機執行 AI
  • 宣布支援 Intel® Arc™ Pro B 系列（B50 和 B60）。
  • 預覽：OpenVINO 模型伺服器現在支援 OpenVINO™ GenAI 啟用 GGUF 的 Hugging Face 模型，適用於流行的 LLM 模型架構，例如 DeepSeek Distill、Qwen2、Qwen2.5 和 Llama 3。此功能可減少記憶體佔用並簡化 GenAI 工作負載的整合。
  • 憑藉更高的可靠性和工具調用準確性，OpenVINO™ 模型服務器增強了對 AI PC 上代理 AI 用例的支持，同時增強了英特爾 CPU、內置 GPU 和 NPU 的性能。
  • INN4 數據感知權重壓縮現在在 ONNX 模型的神經網絡壓縮框架 （NNCF） 中支持，可減少內存佔用，同時保持準確性，並在資源受限的環境中實現高效部署。