LLM AI Server with llama.cpp

IA ilimitada, zero nuvem. Seu celular é o servidor.

Execute LLMs poderosos localmente, de forma privada e gratuita, com uma interface leve e acessível a todos.

Um dispositivo Android se torna seu backend de IA pessoal, acessível de PCs, tablets e outros dispositivos na mesma rede.

---

1. Visão geral

O LLM AI Server com llama.cpp é um servidor LLM totalmente local para Android: geração de texto e multimodal, privada e offline.

Famílias suportadas: Gemma-4/Vision, Qwen/Vision, Mistral, LLaMA, Phi, Bonsai e outras.

Servidor de API integrado compatível com Ollama, OpenAI, Anthropic (Claude) Messages e Google Gemini.

WebUI na mesma porta: troca de modelo, parâmetros, logs e instalação como PWA.

MCP e Function Calling para fluxos com ferramentas; saída estruturada via GBNF/JSON Schema.

---

2. Usuários e dispositivos

Para quem deseja um ambiente LLM privado e totalmente local:

- Usuários que priorizam o uso offline

- Desenvolvedores que integram um backend local

- Usuários avançados que ajustam amostragem e desempenho

- Pesquisadores que testam o comportamento de inferência

- Usuários preocupados com privacidade

Desempenho ajustável: tamanho de contexto, threads, lote, offload de GPU, quantização de cache KV e MTP.

---

3. Principais recursos

- Busca/download de GGUF no Hugging Face; avaliação de adequação do dispositivo, download mmproj com um toque

- Qwen3-VL visão (padrão); expansão automática n_ctx para imagens grandes; fallback GPU→CPU automático

- Import GGUF local; renomear/excluir; adaptadores LoRA (runtime, gerenciar nas Configurações)

- Decodificação especulativa MTP; parâmetros detalhados (Mirostat, DRY, XTC, Min-p, Typical-p, penalidades, dynatemp)

- Motor llama.cpp b10621 (v0.3.0) — modelos mais novos, GPU Adreno OpenCL

- API Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive

- API OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude): /v1/messages, /v1/messages/count_tokens, GET /v1/models; blocos de documento/PDF; Thinking via cabeçalho anthropic-beta

- API Google Gemini: generateContent/streamGenerateContent; GET /v1beta/models (lista/individual); countTokens; embedContent; modo JSON; thinkingBudget

- Swagger UI em /swagger: documentação OpenAPI interativa (Configurações → «Open API Docs»)

- Painel de verificação de conexão nas Configurações: URLs acessíveis por interface de rede

- Logs via GET /api/diagnostics; perfil LLM AI Server Guide incluído

- WebUI multilíngue (9 idiomas), PWA; MCP e Function Calling

- Backup/restauração de perfis; seleção automática de template de prompt

Documentação completa, exemplos e testador interativo:

https://micklab.web.app/llama-tester-en.html

---

4. Como começar

A) Iniciar API/WebUI → Abrir no navegador

1. Toque em «Iniciar API/WebUI» na tela principal.

2. Toque em «Abrir no navegador» para abrir a WebUI.

3. Converse e execute o modelo direto na WebUI.

- Nota: se o modelo não foi baixado, a WebUI o baixa na primeira mensagem.

B) Execução direta

1. Abra a seção «Execução direta».

2. Digite um prompt e toque em «Enviar».

C) Ou prepare um modelo nas Configurações

1. Abra as Configurações.

2. Busque no Hugging Face, insira uma URL ou importe localmente.

3. Ajuste os parâmetros (contexto, temperatura, penalidades, MTP, offload de GPU, etc.).

4. Toque em «Salvar configuração» e depois «SALVAR E FECHAR».

5. Opcionalmente, crie um backup de perfil.