LLM Hoster

Convierte tu teléfono Android en un potente servidor de IA privado: sin nube, sin suscripciones, sin que tus datos salgan de tu dispositivo.

LLM Hoster te permite descargar y ejecutar grandes modelos de lenguaje (LLM) directamente en tu teléfono usando el motor de inferencia llama.cpp, y expone una API totalmente compatible a través de tu red local. Úsalo con cualquier cliente compatible con la API base/v1: Open WebUI, Continue.dev, Chatbox, LM Studio o tus propias aplicaciones.

━━━━━━━━━━━━━━━━━━━━

🔒 TOTALMENTE PRIVADO

Tus datos nunca salen de tu dispositivo. No se requiere internet para la inferencia. Sin claves API, sin costes en la nube, sin telemetría. Lo que sucede en tu teléfono se queda en tu teléfono.

📥 DESCARGA DE MODELOS CON UN SOLO TOQUE

Explora y descarga modelos GGUF de Hugging Face con un solo toque. Simplemente pega el nombre del repositorio, como "autor/nombre_del_modelo-GGUF", y la app encontrará y descargará automáticamente la mejor versión optimizada para móviles.

🌐 API COMPATIBLE CON /v1

Expón una API REST real en tu red local:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Conéctate desde tu portátil, tableta o cualquier dispositivo en la misma red.

💬 CHAT INTEGRADO

Chatea con el modelo que hayas cargado directamente en la app. No necesitas un cliente externo para conversaciones rápidas.

⚡ OPTIMIZACIÓN DEL RENDIMIENTO

Optimiza la inferencia para tu dispositivo:

• Asignación de núcleos de CPU (2–8 hilos)

• Cuantización de caché KV (q4_0, q8_0)

• Tamaño de la ventana de contexto (2K–16K tokens)

• Control del tamaño del lote

• Descarga de la capa de GPU

• Compatibilidad con Flash Attention

🔧 SE EJECUTA EN SEGUNDO PLANO

Un servicio en primer plano mantiene el servidor activo incluso al cambiar de aplicación. Detenlo en cualquier momento desde el panel de notificaciones.

━━━━━━━━━━━━━━━━━━━━

MODELOS COMPATIBLES

Funciona con cualquier modelo en formato GGUF. Puntos de partida recomendados:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4 cuantizado)

Los modelos cuantizados más pequeños (Q4_K_M, Q4_0) funcionan mejor en teléfonos móviles. Los modelos se almacenan localmente y se conservan entre sesiones.

━━━━━━━━━━━━━━━━━━━━

CASOS DE USO

• Asistente de IA privado sin dependencia de la nube

• Desarrollo y pruebas de aplicaciones con tecnología LLM

• IA sin conexión en zonas con conectividad limitada

• Aprendizaje y experimentación con modelos de código abierto

• Acceso a IA en múltiples dispositivos de tu red doméstica

━━━━━━━━━━━━━━━━━━━━

Sin anuncios. Sin seguimiento. Sin cuentas. Solo IA en tu teléfono.

Descarga LLM Hoster y comienza a alojar tu propio servidor de IA privado hoy mismo.