关于LLM Hoster
在手机上本地运行 LLM 的 AI 模型,并通过 LAN 提供服务。
将您的安卓手机变成强大的私有AI服务器——无需云端,无需订阅,数据不会离开您的设备。
LLM Hoster 让您可以直接在手机上下载并运行大型语言模型 (LLM),使用 llama.cpp 推理引擎,并通过本地网络提供完全兼容的 API。它可与任何支持 baseAPI/v1API 的客户端配合使用,例如 Open WebUI、Continue.dev、Chatbox、LM Studio 或您自己的应用程序。
━━━━━━━━━━━━━━━━━━━━
🔒 完全私密
您的数据永远不会离开您的设备。推理无需联网。无需 API 密钥,无需支付云费用,无需遥测数据。手机上发生的一切,都只会保留在您的手机上。
📥 一键模型下载
只需轻点一下,即可浏览并下载 Hugging Face 的 GGUF 模型。只需粘贴类似“author/model_name-GGUF”的仓库名称,应用即可自动查找并下载最适合移动设备的量化版本。
🌐 /v1 兼容 API
在您的局域网中公开真正的 REST API:
• GET /v1/models
• POST /v1/chat/completions
• POST /v1/completions
可从笔记本电脑、平板电脑或同一网络上的任何设备连接。
💬 内置聊天
直接在应用内与已加载的模型聊天。无需外部客户端即可快速对话。
⚡ 性能调优
针对您的设备微调推理:
• CPU 核心分配(2-8 个线程)
• 键值缓存量化(q4_0、q8_0)
• 上下文窗口大小(2K-16K 个 token)
• 批处理大小控制
• GPU 层卸载
• 支持 Flash Attention
🔧 后台运行
前台服务即使在您切换应用时也能保持服务器运行。您可以随时从通知栏停止它。
━━━━━━━━━━━━━━━━━━━━
支持的模型
适用于任何 GGUF 格式的模型。推荐起始版本:
• Llama 3.2 (1B / 3B)
• Phi-3 Mini
• Gemma 2 (2B)
• Qwen 2.5 (1.5B / 3B)
• Mistral 7B (Q4 量化)
较小的量化模型(Q4_K_M、Q4_0)在手机上运行效果最佳。模型存储在本地,并可在会话之间保留。
━━━━━━━━━━━━━━━━━━━━
应用场景
• 完全依赖云端的私有AI助手
• 开发和测试基于LLM的应用程序
• 在网络连接受限的地区使用离线AI
• 学习和试验开源模型
• 为家庭网络中的多个设备提供AI服务
━━━━━━━━━━━━━━━━━━━━
无广告。无追踪。无需注册账号。手机上的AI,触手可及。
立即下载LLM Hoster,开始托管您自己的私有AI服务器。
最新版本1.6的更新日志
• Stability improvements and general UI cleanup.












