LLM Hoster

Превратите свой Android-телефон в мощный частный сервер искусственного интеллекта — без облака, без подписки, без передачи данных с вашего устройства.

LLM Hoster позволяет загружать и запускать большие языковые модели (LLM) непосредственно на вашем телефоне, используя механизм вывода llama.cpp, и предоставляет полностью совместимый API через вашу локальную сеть. Используйте его с любым клиентом, поддерживающим baseAPI/v1API — Open WebUI, Continue.dev, Chatbox, LM Studio или вашими собственными приложениями.

━━━━━━━━━━━━━━━━━━━━━

🔒 ПОЛНОСТЬЮ КОНФИДЕНЦИАЛЬНО

Ваши данные никогда не покидают ваше устройство. Для вывода не требуется интернет. Нет ключей API, нет затрат на облако, нет телеметрии. Все, что происходит на вашем телефоне, остается на вашем телефоне.

📥 ЗАГРУЗКА МОДЕЛЕЙ В ОДНО КАСАНИЕ

Просматривайте и загружайте модели GGUF из Hugging Face одним касанием. Просто вставьте имя репозитория, например, "author/model_name-GGUF" — приложение автоматически найдет и загрузит лучшую квантованную версию для мобильных устройств.

🌐 API, совместимый с /v1

Предоставьте доступ к реальному REST API в вашей локальной сети:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Подключайтесь с ноутбука, планшета или любого устройства в той же сети.

💬 ВСТРОЕННЫЙ ЧАТ

Общайтесь с загруженной моделью прямо в приложении. Для быстрых разговоров не требуется внешний клиент.

⚡ НАСТРОЙКА ПРОИЗВОДИТЕЛЬНОСТИ

Точная настройка вывода для вашего устройства:

• Распределение ядер ЦП (2–8 потоков)

• Квантование кэша KV (q4_0, q8_0)

• Размер контекстного окна (2K–16K токенов)

• Управление размером пакета

• Разгрузка слоя GPU

• Поддержка Flash Attention

🔧 РАБОТАЕТ В ФОНОВОМ РЕЖИМЕ

Фронтальная служба поддерживает работу сервера даже при переключении приложений. Остановить ее можно в любое время через панель уведомлений.

━━━━━━━━━━━━━━━━━━━━━

ПОДДЕРЖИВАЕМЫЕ МОДЕЛИ

Работает с любой моделью в формате GGUF. Рекомендуемые начальные версии:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (квантованные Q4)

На телефонах лучше всего работают меньшие квантованные модели (Q4_K_M, Q4_0). Модели хранятся локально и сохраняются между сессиями.

━━━━━━━━━━━━━━━━━━━━━

ПРИМЕРЫ ПРИМЕНЕНИЯ

• Частный ИИ-помощник без зависимости от облака

• Разработка и тестирование приложений на базе LLM

• Автономный ИИ в условиях ограниченного доступа к сети

• Изучение и экспериментирование с моделями с открытым исходным кодом

• Предоставление ИИ нескольким устройствам в вашей домашней сети

━━━━━━━━━━━━━━━━━━━━━

Без рекламы. Без отслеживания. Без учетных записей. Просто ИИ на вашем телефоне.

Скачайте LLM Hoster и начните размещать свой собственный частный ИИ-сервер уже сегодня.