Bui~ 大模型捲啊捲，越來越多的大模型超越了 ChatGPT，以更少的資源實現更強大的功能。國產大模型正在重寫規則😏。雖然各大廠商都提供了免費的 AI 對話窗口，但有些情況下需要自己部署大模型，例如涉及到數據隱私與安全、響應速度、沒有網路的環境等。同時，本地部署的大模型如果接上邊緣設備（例如我們 Synaptics 的 Astra 平台），就能形成流行的 AI 組織架構——邊緣雲計算框架，讓大模型也能為邊緣設備服務。那麼如何讓邊緣設備利用局域網的本地大模型進行一些 AI 處理呢？別著急，書分兩章，這一篇先教大家如何使用 Ollama 在本地部署大模型。
Ollama 出現的目的就是讓大語言模型的部署和使用更加便捷，使用者無需複雜的雲端計算基礎設施或專業的技術知識，就能在本地設備上快速搭建和運行大模型。其特點是簡單易用、
模型豐富、快速部署簡單來說，它收集了各大主流的大型模型，使用者無需進行複雜的環境配置和依賴安裝。它會自動處理模型的下載、快取和管理，大幅節省了時間和精力。
第一步：下載並安裝Ollama軟體
這裡是奧拉瑪到首頁，選擇自己使用的平台下載對應的安裝軟體進行安裝。軟體的相關文件可以在ollama/docs 在 main · ollama/ollama · GitHub 中查看。建議使用擁有2G記憶體以上的GPU，當然，GPU越好，推理速度就會越快。
第二步：執行Ollama
打開命令提示字元視窗，就像在 Windows 中打開 cmd 或 PowerShell 一樣，在命令提示字元中輸入 `ollama -v` 來檢查是否安裝成功，若顯示有版本號就表示安裝成功。接著輸入 `ollama serve` 啟動服務。然後回到 Ollama 的主頁，尋找想要部署的模型。參數量越大模型就越準確，但所需的存儲空間也會越大。選擇好後，將指令複製到新的命令提示字元視窗中執行。
第一次執行時會下載模型檔案，模型檔案的大小取決於模型的參數量。下載完成後，對話介面會直接出現，然後就可以開始對話了。
到了這一步就已經部署完成大模型了，但這個介面對使用來說不太方便，因此需要引入另一個架構 WebUI，以便能夠透過瀏覽器訪問和設定大模型。
第三步（可選，為了更方便的使用）：部署 open WebUI：
使用 Anaconda 建立虛擬環境，這一步其實可以省略，只要有一個 Python 環境就可以了。不過使用這個軟體來建立環境，可以更好地管理 Python 環境，減少出錯的機率。至於 Anaconda 的使用方法，可以在網路上找到相關的教學，這裡就不再詳述。
建立一個環境
conda create -n open-webui python=3.11
啟動環境
conda activate open-webui
安裝open-webui
pip 安裝 open-webui
第四步（可選，依賴第三步）：使用open-webui：
確保前面三個步驟都完成了，如果前期已經進行了環境部署，後續重新啟動時只需要啟動服務即可。ollama 服務，跑模型ollama run <模型名:參數兩量>如果不知道已經下載了哪些模型，可以使用ollama 清單查看一下，然後啟動 Python 虛擬環境（如果有必要的話）。conda activate open-webui前面這些步驟都完成後，啟動 open-webui 的服務開啟-webui 服務可能需要稍等一下，直到出現以下訊息，表示服務已成功啟動。
這個時候，如果你是在本機執行服務，就可以在瀏覽器輸入 http://0.0.0.0:8080 進入模型對話介面，隨便創建一個管理員帳號密碼進入。如果你是在局域網內的其他主機執行這個服務，也可以使用那台主機的 IP 去訪問這個對話介面。例如我在 10.10.10.10 的主機上創建的服務，而我的電腦在同一個局域網內，我就可以在瀏覽器輸入 http://10.10.10.10:8080 去訪問。
接下來就是大家經常使用的介面了，不同的是這裡的模型可以設定更多參數來滿足自己的需求。
下一集，將使用Synaptics的Astra平台來帶領大家為邊緣設備賦能AI。
以上是本期博文的全部內容，如有疑問請在博文下方留言評論，我會盡快解答(o´ω`o)و。謝謝大家的瀏覽，我們下期再見。
簡單是長期努力的結果，而不是起點
—— 不是我說的
FAQ 1：Ollama 支援哪些作業系統？
A1：Ollama 支援主流作業系統，包括 Windows、macOS 和 Linux
FAQ 2：部署大型模型需要多少存儲空間？
A2：儲存需求取決於模型的參數量，通常從幾百 MB 到幾百 GB 不等
FAQ 3：沒有 GPU 的設備可以運行 Ollama 嗎？
A3：可以，但推理速度會很慢，建議使用配備 GPU 的設備以獲得更好的效能
FAQ 4：WebUI 是否必須安裝？
A4: WebUI 是選擇性的，主要用於提升使用體驗。如果您習慣使用命令列操作，可以不安裝 WebUI。
FAQ 5：Ollama 是否支援多使用者訪問？
A5: 是的，透過 WebUI，您可以在區域網路內實現多使用者存取
評論