LLM Hoster

Transforme seu celular Android em um poderoso servidor de IA privado — sem nuvem, sem assinatura, sem dados saindo do seu dispositivo.

O LLM Hoster permite que você baixe e execute grandes modelos de linguagem (LLMs) diretamente no seu celular usando o mecanismo de inferência llama.cpp e expõe uma API totalmente compatível na sua rede local. Use-o com qualquer cliente que suporte a API base/v1 — Open WebUI, Continue.dev, Chatbox, LM Studio ou seus próprios aplicativos.

━━━━━━━━━━━━━━━━━━━━

🔒 COMPLETAMENTE PRIVADO

Seus dados nunca saem do seu dispositivo. Não é necessário internet para a inferência. Sem chaves de API, sem custos de nuvem, sem telemetria. O que acontece no seu celular fica no seu celular.

📥 DOWNLOADS DE MODELOS COM UM TOQUE

Navegue e baixe modelos GGUF da Hugging Face com um único toque. Basta colar o nome do repositório, como "autor/nome_do_modelo-GGUF" — o aplicativo encontra e baixa automaticamente a melhor versão quantizada para dispositivos móveis.

🌐 API COMPATÍVEL COM /v1

Exponha uma API REST real na sua rede local:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Conecte-se do seu laptop, tablet ou qualquer dispositivo na mesma rede.

💬 CHAT INTEGRADO

Converse com o modelo que você carregou diretamente no aplicativo. Não é necessário nenhum cliente externo para conversas rápidas.

⚡ OTIMIZAÇÃO DE DESEMPENHO

Ajuste a inferência para o seu dispositivo:

• Alocação de núcleos da CPU (2 a 8 threads)

• Quantização de cache KV (q4_0, q8_0)

• Tamanho da janela de contexto (2K a 16K tokens)

• Controle do tamanho do lote

• Descarregamento da camada da GPU

• Suporte a Flash Attention

🔧 EXECUTANDO EM SEGUNDO PLANO

Um serviço em primeiro plano mantém o servidor ativo mesmo quando você alterna entre aplicativos. Interrompa-o a qualquer momento na área de notificações.

━━━━━━━━━━━━━━━━━━━━

MODELOS COMPATÍVEIS

Funciona com qualquer modelo no formato GGUF. Pontos de partida recomendados:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (quantizado em Q4)

Modelos quantizados menores (Q4_K_M, Q4_0) funcionam melhor em celulares. Os modelos são armazenados localmente e persistem entre as sessões.

━━━━━━━━━━━━━━━━━━━━

CASOS DE USO

• Assistente de IA privado sem dependência da nuvem

• Desenvolvimento e teste de aplicativos com tecnologia LLM

• IA offline em áreas com conectividade limitada

• Aprendizado e experimentação com modelos de código aberto

• Distribuição de IA para vários dispositivos em sua rede doméstica

━━━━━━━━━━━━━━━━━━━━

Sem anúncios. Sem rastreamento. Sem contas. Apenas IA no seu celular.

Baixe o LLM Hoster e comece a hospedar seu próprio servidor de IA privado hoje mesmo.