LLM AI Server with llama.cpp

無限AI，零雲。你的手機就是伺服器。

在本地、私密且免費地運行強大的LLM模型——輕量級使用者介面，人人都能輕鬆上手。

一台安卓設備即可成為你的個人AI後端，可透過同一網路上的PC、平板電腦和其他裝置存取。

---

1. 概述

LLM AI伺服器（基於llama.cpp）是一款完全在地化的安卓LLM伺服器，支援私密、離線文字和多模態內容產生。

支援的模型系列：Gemma-4 / Gemma-4 Vision、Qwen / Qwen Vision、Mistral、LLaMA、Phi、Bonsai等。

內建API伺服器相容於Ollama、OpenAI、Anthropic (Claude) Messages和Google Gemini API——提供聊天、自動補全、產生、嵌入、分詞/詞元計數和模型清單等介面。

捆綁的Web使用者介面運行在同一端口，支援模型切換、參數編輯、日誌檢視和PWA安裝。

MCP 和函數呼叫支援工具增強型工作流程；透過 GBNF 和 JSON Schema 實現結構化輸出。

---

2. 目標使用者和支援的設備

專為希望擁有私密、完全在地化的 LLM 環境的使用者而設計：

- 離線優先用戶

- 整合本地後端的開發者

- 調整採樣和效能的高級用戶

- 測試推理行為的研究人員

- 注重隱私的用戶

可透過上下文大小、執行緒數、批次大小、GPU 卸載、KV 快取量化和可選的 MTP 解碼來調整效能。

---

3. 主要特性

- Hugging Face GGUF 搜尋和下載；設備適用性指導，一鍵下載 mmproj

- Qwen3-VL 視覺（預設捆綁）；大影像自動擴充 n_ctx；GPU→CPU 自動回退

- 本機 GGUF 匯入；模型重新命名/刪除；支援 LoRa 適配器（運行時應用，可在設定中管理）

- MTP 推測性解碼；詳細參數（Mirostat、DRY、XTC、Min-p、Typical-p、懲罰、dynatemp）

- 升級了 llama.cpp 引擎（b10621，v0.3.0）— 更新的模型，Adreno OpenCL GPU

- Ollama API：/api/chat、/api/generate、/api/ps、/api/show、/api/delete、/api/embed(dings)、/api/tokenize、/api/tags; keep_alive（卸載/預先載入/持續時間字串）

- OpenAI API：/v1/chat/completions、/v1/completions、/v1/responses、/v1/embeddings、/v1/models

- Anthropic (Claude) API：/v1/messages（串流、思考、影像/音訊、工具使用）、/v1/messages/count_tokens、GET /v1/models；文件/PDF 內容區塊；透過 anthropic-beta 標頭思考

- Google Gemini API：generateContent/streamGenerateContent；GET /v1beta/models（列表/單一）；countTokens；embedContent/batchEmbedContents；JSON 模式（responseMimeType）；thinkingBudget

- Swagger UI（位於 /swagger）：互動式 OpenAPI 3.0 文檔，可透過「設定」→「Open API 文件」開啟

- 設定中的連線檢查面板：探測所有介面並顯示可存取的 URL（區域網路、營運商等）

- 內建 LLM AI 伺服器指南設定檔；可透過 GET /api/diagnostics 取得設備端日誌

- 多語言 WebUI（9 種語言），支援 PWA；支援 MCP 和函數調用

- 設定檔備份和還原；自動選擇提示模板

完整 API 文件、範例和互動式測試器：

https://micklab.web.app/llama-tester-en.html

---

4. 入門指南

A) 啟動 API/WebUI → 在瀏覽器中開啟

1. 在主畫面上點選「啟動 API/WebUI」。

2. 點選「在瀏覽器中開啟」以啟動內建 WebUI。

3. 直接從 WebUI 進行聊天並執行模型。

- 注意：首次使用時，如果模型尚未下載，WebUI 會在您傳送第一則訊息時自動下載。

B) 直接運行

1. 開啟主畫面上的「直接運轉」部分。

2. 輸入提示訊息並點選「傳送」按鈕，即可在應用程式內直接執行模型。

C) 或先使用「設定」準備模型

1. 開啟“設定”。

2. 搜尋 Hugging Face 中的 GGUF 模型，輸入直接 URL，或匯入本機 GGUF 檔案。

3. 調整參數（上下文大小、溫度、懲罰項、MTP、GPU 卸載等）。

4. 點選“儲存配置”，然後點選“儲存並關閉”按鈕載入模型。

5. （選用）建立設定檔備份以便日後復原。