LLM Hoster

將您的安卓手機變成強大的私有AI伺服器－無需雲端，無需訂閱，資料不會離開您的裝置。

LLM Hoster 讓您可以直接在手機上下載並執行大型語言模型 (LLM)，使用 llama.cpp 推理引擎，並透過本地網路提供完全相容的 API。它可與任何支援 baseAPI/v1API 的用戶端配合使用，例如 Open WebUI、Continue.dev、Chatbox、LM Studio 或您自己的應用程式。

━━━━━━━━━━━━━━━━━━━━

🔒 完全私密

您的資料永遠不會離開您的裝置。推理無需聯網。無需 API 金鑰，無需支付雲端費用，無需遙測資料。手機上發生的一切，只會保留在您的手機上。

📥 一鍵模型下載

只需輕觸一下，即可瀏覽並下載 Hugging Face 的 GGUF 型號。只需貼上類似「author/model_name-GGUF」的倉庫名稱，應用程式即可自動尋找並下載最適合行動裝置的量化版本。

🌐 /v1 相容 API

在您的區域網路中公開真正的 REST API：

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

可從筆記型電腦、平板電腦或同一網路上的任何裝置連接。

💬 內建聊天

直接在應用程式內與已載入的模型聊天。無需外部客戶端即可快速對話。

⚡ 性能調優

針對您的裝置微調推理：

• CPU 核心分配（2-8 個執行緒）

• 鍵值快取量化（q4_0、q8_0）

• 上下文視窗大小（2K-16K 個 token）

• 批次大小控制

• GPU 層卸載

• 支援 Flash Attention

🔧 後台運行

前台服務即使在您切換應用程式時也能保持伺服器運作。您可以隨時從通知欄停止它。

━━━━━━━━━━━━━━━━━━━━

支持的模型

適用於任何 GGUF 格式的模型。推薦起始版本：

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4 量化)

較小的量化模式（Q4_K_M、Q4_0）在手機上運作效果最佳。模型儲存在本機，並可在會話之間保留。

━━━━━━━━━━━━━━━━━━━━

應用場景

• 完全依賴雲端的私有AI助手

• 開發和測試基於LLM的應用程式

• 在網路連線受限的地區使用離線AI

• 學習與試驗開源模型

• 為家庭網路中的多個裝置提供AI服務

━━━━━━━━━━━━━━━━━━━━

無廣告。無追蹤。無需註冊帳號。手機上的AI，觸手可及。

立即下載LLM Hoster，開始託管您自己的私有AI伺服器。