LLM AI Server with llama.cpp

Безграничные возможности ИИ, нулевое облако. Ваш телефон — сервер.

Запускайте мощные LLM-модели локально, конфиденциально и бесплатно — с легким пользовательским интерфейсом, доступным каждому.

Одно устройство Android становится вашим персональным бэкендом ИИ, доступным с ПК, планшетов и других устройств в той же сети.

---

1. Обзор

LLM AI Server с llama.cpp — это полностью локальный LLM-сервер для Android, обеспечивающий конфиденциальную, автономную генерацию текста и мультимодальных моделей.

Поддерживаемые семейства моделей: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai и другие.

Встроенный API-сервер совместим с API Ollama, OpenAI, Anthropic (Claude) Messages и Google Gemini — предоставляя конечные точки для чата, автодополнения, генерации, встраивания, токенизации/подсчета токенов и отображения списка моделей.

Входящий в комплект веб-интерфейс работает на том же порту и поддерживает переключение моделей, редактирование параметров, просмотр логов и установку PWA.

MCP и вызов функций позволяют создавать рабочие процессы с расширенными возможностями; структурированный вывод через GBNF и JSON Schema.

--

2. Целевые пользователи и поддерживаемые устройства

Разработано для пользователей, которым нужна частная, полностью локальная среда LLM:

- Пользователи, предпочитающие автономный режим

- Разработчики, интегрирующие локальный бэкенд

- Опытные пользователи, настраивающие выборку и производительность

- Исследователи, тестирующие поведение вывода

- Пользователи, ориентированные на конфиденциальность

Производительность настраивается с помощью размера контекста, потоков, размера пакета, разгрузки GPU, квантования кэша KV и опционального декодирования MTP.

--

3. Ключевые особенности

- Поиск и загрузка GGUF-файлов Hugging Face; рекомендации по выбору устройства, загрузка mmproj одним касанием

- Qwen3-VL vision (по умолчанию входит в комплект); автоматическое расширение n_ctx для больших изображений; Автоматический переход с GPU на CPU

- Локальный импорт GGUF; переименование/удаление моделей; поддержка адаптера LoRA (применяется во время выполнения, управляется в настройках)

- Спекулятивное декодирование MTP; подробные параметры (Mirostat, DRY, XTC, Min-p, Typical-p, штрафы, dynatemp)

- Обновленный движок llama.cpp (b10621, v0.3.0) — более новые модели, Adreno OpenCL GPU

- API Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (строки выгрузки/предварительной загрузки/длительности)

- API OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude): /v1/messages (streaming, thinking, image/audio, tool_use), /v1/messages/count_tokens, GET /v1/models; блоки содержимого документа/PDF; thinking через заголовок anthropic-beta

- API Google Gemini: generateContent/streamGenerateContent; GET /v1beta/models (list/single); countTokens; embedContent/batchEmbedContents; режим JSON (responseMimeType); thinkingBudget

- Пользовательский интерфейс Swagger по адресу /swagger: интерактивная документация OpenAPI 3.0, открываемая из Настройки → "Документация OpenAPI"

- Панель проверки подключения в Настройках: проверяет все интерфейсы и показывает доступные URL-адреса (LAN, оператор связи и т. д.)

- Встроенный профиль LLM AI Server Guide; получение логов на устройстве через GET /api/diagnostics

- Многоязычный веб-интерфейс (9 языков), поддержка PWA; MCP и вызов функций

- Резервное копирование и восстановление профиля; автоматический выбор шаблона запроса

Полная документация API, примеры и интерактивный тестер:

https://micklab.web.app/llama-tester-en.html

---

4. Начало работы

A) Запуск API/веб-интерфейса → Открыть в браузере

1. Нажмите «Запустить API/веб-интерфейс» на главном экране.

2. Нажмите «Открыть в браузере», чтобы запустить встроенный веб-интерфейс.

3. Общайтесь и запускайте модель непосредственно из веб-интерфейса. — Примечание: При первом использовании, если модель не загружена, веб-интерфейс загрузит её при отправке первого сообщения.

B) Прямой запуск

1. Откройте раздел «Прямой запуск» на главном экране.

2. Введите запрос и нажмите «Отправить», чтобы запустить модель непосредственно в приложении.

C) или используйте настройки для предварительной подготовки модели

1. Откройте «Настройки».

2. Найдите модель GGUF в Hugging Face, введите прямой URL-адрес или импортируйте локальный файл GGUF.

3. Настройте параметры (размер контекста, температура, штрафы, MTP, разгрузка GPU и т. д.).

4. Нажмите «Сохранить конфигурацию», затем «СОХРАНИТЬ И ЗАКРЫТЬ», чтобы загрузить модель.

5. При желании создайте резервную копию профиля для последующего восстановления.