►前言
在人工智慧蓬勃發展的今日，大型語言模型（LLM, Large Language Model）正迅速改變我們與資訊互動的方式。無論是進行自然語言處理、生成文字內容，或是作為智慧助手的核心引擎，LLM 都展現了強大的語言理解與生成能力。DeepSeek 作為近年崛起的開源大型語言模型之一，本文將介紹透過Ollama與WebUI於Windows端使用DeepSeek。
►Ollama介紹
Ollama 是一款開源的本地大型語言模型（LLM）運行框架，旨在簡化在本地環境中運行和管理大型語言模型的過程。它支援多種開源的大型語言模型，如 Llama 3、Phi-3、Gemma 等，讓使用者能夠在本地快速部署和運行這些模型，無需依賴雲端服務，從而保護數據隱私並提高運行效率。
Ollama 的主要特點包括：
- 本地部署與離線使用：Ollama 允許使用者在本地計算環境中運行模型，無需依賴外部伺服器，保證數據隱私，並對高並發的請求提供更低的延遲和更高的可控性。
- 多模型支援：支援多種流行的 LLM 模型，如 Llama、Falcon 等，使用者可以根據需求選擇不同的模型，一鍵運行。
- 易於使用與集成：提供直觀的命令列介面（CLI）和 Python SDK，簡化與其他專案和服務的集成，降低技術門檻。
- 可擴展性與自訂化：支援自訂配置，使用者可以根據硬體環境和模型需求進行優化，並在預訓練模型的基礎上進行微調，以滿足特定應用需求。
跨平台支援：Ollama 支援 Windows、macOS 和 Linux 等多種作業系統，使用者可以根據自己的環境選擇適合的安裝方式。
►操作流程
搜尋Ollama點擊，進入官網並點擊下載。
點擊安裝檔進行安裝，打開powershell輸入ollama跳出以下頁面，表示安裝成功。
下載DeepSeek模型(於powershell 輸入”ollama run deepseek-r1”)
即可於本地端調用DeepSeek-R1
安裝Open WebUI，透過GUI調用DeepSeek
- Docker CPU執行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- Docker GPU執行
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
- Python 執行 (Python 3.11環境)
pip install open-webui
open-webui serve
即可透過網頁，進行本地端DeepSeek互動
►小結
透過以上講解，搭配程式碼進行範例講解，相信各位對於Windows上調用DeepSeek能有更深刻的理解，期待下一篇博文吧！
►Q&A
問題一：我可以使用哪些語言模型？可以自己選擇模型嗎？
Ollama 預設支援多種熱門開源模型，例如：LLaMA 3、Mistral、Gemma、Phi-3 等。使用者可以透過命令列 ollama run 模型名稱 載入這些模型。
問題二：Ollama 佔用資源多嗎？可以在普通筆電上跑嗎？
Ollama 根據所選模型大小而定。小模型（如 phi3:mini）可以在一般筆電上順利執行，但大型模型（如 llama3:70b）會需要高階 GPU 與大量記憶體。Ollama 會自動調整為 CPU 模式，但速度會變慢。
問題三：Ollama 模型可以離線使用嗎？需要網路才能對話嗎？
是的，Ollama 支援離線使用。一旦模型下載完成，Ollama 就可以完全在本機運行，不再需要連網，這對於強調資料隱私或沒有網路的環境特別有用。
問題四：可以在自己的應用程式中使用 Ollama 嗎？它有 API 嗎？
有的，Ollama 提供 RESTful API。安裝並啟動模型後，可以透過 http://localhost:11434/api/generate 發送請求進行文字生成。這讓開發者可以輕鬆將本地模型整合到自己的 應用中，例如網站、聊天機器人或資料分析平台。
問題五：我可以自訂或微調自己的模型在 Ollama 上運行嗎？
可以，Ollama 支援自訂模型建立與執行。你可以使用 Modelfile 來定義自己的模型設定與行為，例如指定基礎模型、加入系統提示、甚至包裝特定指令範本。
評論