LLM AI Server with llama.cpp

无限 AI，零云端。你的手机就是服务器。

在本地私密且免费地运行强大的 LLM，配备人人可用的轻量界面。

一台 Android 设备即成为你的专属 AI 后端，可从同一网络中的 PC、平板和其他设备访问。

---

1. 概述

基于 llama.cpp 的 LLM AI Server 是面向 Android 的完全本地 LLM 服务器：私密、离线地进行文本与多模态生成。

支持的模型系列：Gemma-4/Vision、Qwen/Vision、Mistral、LLaMA、Phi、Bonsai 等。

内置 API 服务器兼容 Ollama、OpenAI、Anthropic (Claude) Messages 和 Google Gemini API。

随附的 WebUI 在同一端口运行：切换模型、编辑参数、查看日志并可安装为 PWA。

MCP 与函数调用支持工具增强的工作流；通过 GBNF 和 JSON Schema 支持结构化输出。

---

2. 目标用户

面向希望获得私密、完全本地 LLM 环境的用户：

- 以离线使用为主的用户

- 集成本地后端的开发者

- 调优采样与性能的高级用户

- 测试推理行为的研究者

- 注重隐私的用户

性能可调：上下文大小、线程、批大小、GPU 卸载、KV 缓存量化和可选 MTP。

---

3. 主要功能

- 从 Hugging Face 搜索并下载 GGUF；设备适配度评级，一键下载 mmproj

- Qwen3-VL 视觉模型（内置默认）；大图片自动扩展 n_ctx；GPU→CPU 自动回退

- 本地 GGUF 导入；重命名/删除；LoRA 适配器（运行时应用，在设置中管理）

- MTP 推测解码；详细参数控制（Mirostat、DRY、XTC、Min-p、Typical-p、惩罚项、动态温度）

- 升级引擎 llama.cpp b10621 (v0.3.0)——支持更新模型与 Adreno OpenCL GPU

- Ollama API：/api/chat、/api/generate、/api/ps、/api/show、/api/delete、/api/embed(dings)、/api/tokenize、/api/tags；keep_alive

- OpenAI API：/v1/chat/completions、/v1/completions、/v1/responses、/v1/embeddings、/v1/models

- Anthropic (Claude) API：/v1/messages、/v1/messages/count_tokens、GET /v1/models；文档/PDF 内容块；通过 anthropic-beta 请求头启用 Thinking

- Google Gemini API：generateContent/streamGenerateContent；GET /v1beta/models（列表/单个）；countTokens；embedContent；JSON 模式（responseMimeType）；thinkingBudget

- /swagger 处提供 Swagger UI：交互式 OpenAPI 3.0 文档（设置→「Open API Docs」按钮）

- 设置中的连接检查面板：探测各网络接口（LAN、运营商等）并显示可达 URL

- 通过 GET /api/diagnostics 获取设备日志；内置 LLM AI Server Guide 档案

- 多语言 WebUI（9 种语言）、PWA 支持；MCP 与函数调用

- 配置档案备份与恢复；自动提示词模板选择

完整 API 文档、示例与交互式测试器：

https://micklab.web.app/llama-tester-en.html

---

4. 快速开始

A) 启动 API/WebUI → 在浏览器中打开

1. 在主界面点按「启动 API/WebUI」。

2. 点按「在浏览器中打开」以启动内置 WebUI。

3. 可直接在 WebUI 中聊天并运行模型。

- 注意：首次使用时若模型尚未下载，WebUI 会在你发送第一条消息时下载。

B) 直接运行

1. 打开主界面的「直接运行」部分。

2. 输入提示词并点按「发送」。

C) 或先在设置中准备模型

1. 打开设置。

2. 在 Hugging Face 搜索，或输入直链 URL，或导入本地 GGUF 文件。

3. 调整参数（上下文大小、温度、惩罚项、MTP、GPU 卸载等）。

4. 点按「保存配置」，再点按「保存并关闭」以加载模型。

5. 如有需要，可创建配置档案备份。