LLM AI Server with llama.cpp

Onbeperkte AI, geen cloud. Je telefoon is de server.

Voer krachtige LLM's lokaal, privé en gratis uit — met een lichte gebruikersinterface die iedereen kan gebruiken.

Eén Android-apparaat wordt je persoonlijke AI-backend, toegankelijk vanaf pc's, tablets en andere apparaten in hetzelfde netwerk.

---

1. Overzicht

LLM AI Server met llama.cpp is een volledig lokale LLM-server voor Android, waarmee je privé en offline tekst en multimodale content kunt genereren.

Ondersteunde modelfamilies: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai en andere.

Een ingebouwde API-server is compatibel met de API's van Ollama, OpenAI, Anthropic (Claude) Messages en Google Gemini — en biedt endpoints voor chat, aanvulling, generatie, embedding, tokenisatie/tokentelling en modeloverzichten.

De meegeleverde webinterface draait op dezelfde poort en ondersteunt het wisselen van modellen, het bewerken van parameters, het bekijken van logboeken en PWA-installatie.

MCP en functieaanroepen maken workflows met toolondersteuning mogelijk; gestructureerde uitvoer via GBNF en JSON Schema.

---

2. Doelgroep en ondersteunde apparaten

Ontworpen voor gebruikers die een privé, volledig lokale LLM-omgeving willen:

- Offline-first gebruikers

- Ontwikkelaars die een lokale backend integreren

- Gevorderde gebruikers die sampling en prestaties optimaliseren

- Onderzoekers die inferentiegedrag testen

- Gebruikers die privacy belangrijk vinden

Prestaties kunnen worden geoptimaliseerd via contextgrootte, threads, batchgrootte, GPU-offload, KV-cachequantisatie en optionele MTP-decodering.

----

3. Belangrijkste functies

- Hugging Face GGUF-zoek- en downloadfunctie; apparaatgeschiktheidsadvies, mmproj-download met één tik

- Qwen3-VL-beeldverwerking (standaard meegeleverd); automatische n_ctx-uitbreiding voor grote afbeeldingen; automatische terugval van GPU naar CPU

- Lokale GGUF-import; model hernoemen/verwijderen; Ondersteuning voor LoRA-adapters (toepassen tijdens runtime, beheren via Instellingen)

- MTP speculatieve decodering; gedetailleerde parameters (Mirostat, DRY, XTC, Min-p, Typical-p, penalties, dynatemp)

- Verbeterde llama.cpp-engine (b10621, v0.3.0) — nieuwere modellen, Adreno OpenCL GPU

- Ollama API: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (unload / preload / duration strings)

- OpenAI API: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- Anthropic (Claude) API: /v1/messages (streaming, thinking, image/audio, tool_use), /v1/messages/count_tokens, GET /v1/models; document/PDF content blocks; thinking via anthropic-beta header

- Google Gemini API: generateContent/streamGenerateContent; GET /v1beta/models (list/single); countTokens; embedContent/batchEmbedContents; JSON mode (responseMimeType); thinkingBudget

- Swagger UI op /swagger: interactieve OpenAPI 3.0-documentatie, te openen via Instellingen → "Open API-documentatie"

- Verbindingscontrolepaneel in Instellingen: controleert alle interfaces en toont bereikbare URL's (LAN, provider, enz.)

- Gebundeld LLM AI Server Guide-profiel; logboekopvraging op het apparaat via GET /api/diagnostics

- Meertalige webinterface (9 talen), PWA-ondersteuning; MCP en functieaanroepen

- Profielback-up en -herstel; automatische selectie van promptsjabloon

Volledige API-documentatie, voorbeelden en interactieve tester:

https://micklab.web.app/llama-tester-en.html

---

4. Aan de slag

A) API/Webinterface starten → Openen in browser

1. Tik op API/Webinterface starten op het hoofdscherm.

2. Tik op Openen in browser om de gebundelde webinterface te starten.

3. Chat en voer het model direct uit vanuit de webinterface.

- Opmerking: Bij het eerste gebruik, als het model niet is gedownload, zal de webinterface het downloaden wanneer u het eerste bericht verzendt.

B) Direct uitvoeren

1. Open het gedeelte 'Direct uitvoeren' op het hoofdscherm.

2. Voer een prompt in en tik op 'Verzenden' om het model direct in de app uit te voeren.

C) Of gebruik de instellingen om eerst een model voor te bereiden

1. Open de instellingen.

2. Zoek naar 'Hugging Face' voor een GGUF-model, voer een directe URL in of importeer een lokaal GGUF-bestand.

3. Pas de parameters aan (contextgrootte, temperatuur, straffen, MTP, GPU-offload, enz.).

4. Tik op 'Configuratie opslaan' en vervolgens op 'Opslaan en sluiten' om het model te laden.

5. Maak optioneel een back-up van het profiel voor later herstel.