Bui~ 書接上回，我們在本地電腦上成功部署了 AI 大模型。這一篇將以 Synaptics Astra 平台的 SL1680 為例，帶大家了解如何讓邊緣設備接入大模型，實現更廣泛的 AI 應用。首先，我們需要理解邊緣雲計算的架構。簡單來說，就是在靠近設備的地方部署一個大模型推理伺服器，透過有線或無線網路將設備端的數據傳輸到伺服器進行推理處理，然後將結果返回給設備端。這種方式可以充分利用算力資源，避免每個設備都需要額外添加推理晶片，從而節省成本；同時還能擴展邊緣設備的 AI 推理能力，增加業務場景；此外，數據無需上傳到遠程伺服器，能夠更好地保護數據隱私。
接下來，我們將透過Ollama的網路API，在區域網路內實現其他設備調用並運行大模型的功能。以下是具體步驟：
第一步：設定環境變數 首先需要設定Ollama的主機位址。預設情況下，Ollama僅允許在本地執行。為了讓區域網路內的其他設備能夠存取伺服器，需要設定環境變數。IP位址為伺服器的IP，埠號可以自訂，這裡使用預設的11434埠號。
export OLLAMA_HOST=10.86.130.13:11434
第二步：啟動服務 在伺服器上執行以下指令啟動Ollama服務
ollama 服務
第三步：測試連通性 在其他設備上，透過訪問伺服器地址加上API路徑，可以測試連通性。例如，獲取伺服器的Ollama版本號。
電腦：
設備端（Astra Linux）：
curl http://10.86.130.13:11434/api/version
第四步：撰寫設備端的程式，透過 API 去調用伺服器進行推理，API 有很多種調用方式和格式，可以參考官方說明文件https://github.com/ollama/ollama/blob/main/docs/api.md 。小編也上傳了基於 Synaptics Astra 平台的應用程式代碼，供大家參考。
使用的 API 是以 JSON 格式，處理網路庫時還需要使用 JSON 的解析庫。
設定輸入參數可以指定模型類型、API路徑、問題輸入以及圖片輸入（圖片輸入需要模型支援多模態功能）。
示例1：提問 透過API向大模型提問，獲取答案
示例2：辨識本地圖片內容 讓大模型辨識本地圖片的內容，並返回結果。
以上是基於Astra平台使用邊緣伺服器的一個簡單示例。當然，功能遠不止於此。Astra平台自帶一定的運算能力，可以在本地過濾掉大部分無關資訊，僅將關鍵資訊傳輸到伺服器進行處理。這種方式不僅降低了回應時間，還提高了識別的準確性。更多功能等待大家去探索和開發！
以上是本期部落格文章的全部內容，若有疑問請在文章下方留言，我會盡快回覆 (o´ω`o)و。感謝大家的瀏覽，我們下期再見！
簡單是長期努力的結果，而不是起點
—— 不是我說的
常見問題 1：Ollama 支援哪些模型？
A1：Ollama 支援多種 AI 大模型，具體可以參考其官方文件，或上一篇介紹的部落格文章。
FAQ 2：Astra 平台的運算能力如何？
A2：Astra 平台目前使用 SL1680 約 8TOPS 算力，SL1640 約 1.6TOPS 算力
常見問題 3：API 呼叫是否複雜？
A3：Ollama 的 API 設計相對簡單，支援多種調用方式，適合不同的開發需求。
常見問題 4：如何獲取更多範例程式碼？
A4: 可以造訪Ollama的官方文件或部落格文章下方提供的程式碼資源，獲取更多範例和指導。
FAQ 5：邊緣雲端運算的伺服器一定要是電腦嗎？
A5: 這裡的伺服器不一定是PC，可以是大型伺服器機櫃，也可以是高算力的邊緣盒子。
評論