如何在 Android 手機上本地安裝和運行 LLM

在您的 Android 手機上本地運行大型語言模型 (LLM)意味著您無需依賴雲端伺服器或網路連線即可存取這些 AI 模型。此本地設定可確保您的資料在裝置上安全，從而確保隱私。隨著行動硬體的進步，在本地運行AI模型已經成為現實。 MLC 聊天應用程式讓您可以輕鬆地在手機上體驗這項強大的技術。

本文將解釋在 Android 手機上本地運行 LLM 的重要性，並提供使用 MLC Chat 應用程式安裝和運行它們的逐步說明。

為什麼要在 Android 手機上運行 LLM？

LLM 通常在雲端伺服器上運行，因為它們需要強大的運算能力。雖然 Android 手機在運行 LLM 時有一定的限制，但它們也開啟了一些有趣的可能性。

提高隱私性：由於所有計算都發生在您的手機上，因此您的資料保持在本地，這對於您共享的任何敏感資訊都很重要。
離線存取：無需持續的網路連線即可存取或與這些模型互動。這對於偏遠地區或網路連線有限的用戶尤其有用。
成本效益：在雲端伺服器上運行 LLM 涉及雲端儲存和處理能力等營運成本。該方法為用戶提供了一種經濟高效的解決方案。

在 Android 上安裝和運行 MLC Chat 的分步指南

MLC Chat 應用程式旨在允許用戶在包括手機在內的各種裝置上本地運行和與大型語言模型 (LLM) 交互，而無需依賴基於雲端的服務。請按照以下步驟在您的 Android 裝置上本機執行 LLM。

步驟 1：安裝 MLC Chat 應用程式

首先，您需要從下面的連結下載 MLC Chat 應用程式的 APK（112MB）。

MLC Chat應用程式APK文件

如何在 Android 手機上本地安裝和運行 LLM — 安裝 MLC 聊天應用程式

下載 APK 後，點擊該檔案即可開始安裝。

第 2 步：下載 LLM

成功安裝應用程式後，打開應用程序，您將看到可供下載的 LLM 清單。有不同尺寸和功能的型號可供選擇，例如 LLama-3.2、Phi-3.5 和 Mistral。依需求選擇型號，點選旁邊的下載圖示即可開始下載。例如，如果您使用的是像 Redmi Note 10 這樣的中階手機，請選擇 Qwen-2.5 這樣的輕量級型號以獲得更流暢的效能。

步驟3：執行已安裝的LLM

模型下載完成後，旁邊會出現聊天圖示。點擊圖示開始建模。

模型準備好後，您就可以開始輸入提示並與本地 LLM 進行互動。

例如，在 Redmi Note 10 這樣的裝置上，執行 Qwen2.5 這樣的較小型號可以提供相當流暢的體驗，每秒產生約 1.4 個代幣。雖然這種性能比Galaxy S23 Ultra等高階設備慢，但它仍然可以很好地完成簡短聊天和簡單內容創建等基本任務。

透過 MLC Chat 應用在 Android 裝置上本地運行 LLM 提供了一種可存取且隱私保護的與 AI 模型互動的方式。性能很大程度取決於手機硬體。此解決方案非常適合需要離線存取 AI 模型、即時測試 LLM 或擔心隱私的用戶。隨著行動硬體的不斷改進，本地 LLM 的能力將會不斷擴展，這將成為人工智慧技術的一個令人興奮的前沿。

Tags: #android #本機安裝 llm #本機執行 llm #在 android 上本機安裝 llm #在 android 上本機執行 llm #mlc 聊天