LLM AI Server with llama.cpp

IA ilimitada, cero nube. Tu teléfono es el servidor.

Ejecuta potentes LLM en local, de forma privada y gratuita, con una interfaz ligera y accesible para todos.

Un dispositivo Android se convierte en tu backend de IA personal, accesible desde PC, tablets y otros dispositivos de la misma red.

---

1. Descripción general

LLM AI Server con llama.cpp es un servidor LLM totalmente local para Android: generación de texto y multimodal, privada y sin conexión.

Familias compatibles: Gemma-4/Vision, Qwen/Vision, Mistral, LLaMA, Phi, Bonsai y más.

Servidor API integrado compatible con Ollama, OpenAI, Anthropic (Claude) Messages y Google Gemini.

WebUI en el mismo puerto: cambio de modelo, parámetros, registros e instalación como PWA.

MCP y Function Calling para flujos con herramientas; salida estructurada mediante GBNF/JSON Schema.

---

2. Usuarios y dispositivos

Para quienes desean un entorno LLM privado y totalmente local:

- Usuarios que priorizan el uso sin conexión

- Desarrolladores que integran un backend local

- Usuarios avanzados que ajustan muestreo y rendimiento

- Investigadores que prueban el comportamiento de inferencia

- Usuarios preocupados por la privacidad

Rendimiento ajustable: contexto, hilos, lote, offload GPU, cuantización KV y MTP.

---

3. Funciones principales

- Búsqueda/descarga de GGUF desde Hugging Face; valoración de idoneidad, descarga mmproj con un toque

- Qwen3-VL visión (predeterminado); expansión automática n_ctx para imágenes grandes; cambio GPU→CPU automático

- Importación GGUF local; renombrar/eliminar; adaptadores LoRA (runtime, gestión en Ajustes)

- Decodificación especulativa MTP; parámetros detallados (Mirostat, DRY, XTC, Min-p, Typical-p, penalizaciones, dynatemp)

- Motor llama.cpp b10621 (v0.3.0): modelos más nuevos, GPU Adreno OpenCL

- API Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive

- API OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude): /v1/messages, /v1/messages/count_tokens, GET /v1/models; bloques de documento/PDF; Thinking via cabecera anthropic-beta

- API Google Gemini: generateContent/streamGenerateContent; GET /v1beta/models (lista/individual); countTokens; embedContent; modo JSON; thinkingBudget

- Swagger UI en /swagger: documentación OpenAPI interactiva (Ajustes → «Open API Docs»)

- Panel de verificación de conexión en Ajustes: URLs accesibles por interfaz de red

- Logs via GET /api/diagnostics; perfil LLM AI Server Guide incluido

- WebUI multilingüe (9 idiomas), PWA; MCP y Function Calling

- Copia de seguridad/restauración de perfiles; selección automática de plantilla de prompt

Documentación completa, ejemplos y probador interactivo:

https://micklab.web.app/llama-tester-en.html

---

4. Primeros pasos

A) Iniciar API/WebUI → Abrir en el navegador

1. Toca «Iniciar API/WebUI» en la pantalla principal.

2. Toca «Abrir en el navegador» para lanzar la WebUI.

3. Chatea y ejecuta el modelo directamente desde la WebUI.

- Nota: si el modelo no está descargado, la WebUI lo descarga con el primer mensaje.

B) Ejecución directa

1. Abre la sección «Ejecución directa».

2. Escribe un prompt y toca «Enviar».

C) O prepara un modelo en Ajustes

1. Abre Ajustes.

2. Busca en Hugging Face, introduce una URL o importa localmente.

3. Ajusta los parámetros (contexto, temperatura, penalizaciones, MTP, offload GPU, etc.).

4. Toca «Guardar configuración» y luego «GUARDAR Y CERRAR».

5. Opcionalmente, crea una copia de seguridad del perfil.