LLM AI-Server mit llama.cpp

Unbegrenzte KI, keine Cloud. Dein Smartphone ist der Server.

Führe leistungsstarke LLMs lokal, privat und kostenlos aus – mit einer leichten Oberfläche für alle.

Ein Android-Gerät wird zu deinem persönlichen KI-Backend, erreichbar von PCs, Tablets und anderen Geräten im selben Netzwerk.

---

1. Überblick

LLM AI Server mit llama.cpp ist ein vollständig lokaler LLM-Server für Android: Text- und multimodale Generierung, privat und offline.

Unterstützte Modellfamilien: Gemma-4/Vision, Qwen/Vision, Mistral, LLaMA, Phi, Bonsai u. a.

Integrierter API-Server kompatibel mit Ollama, OpenAI, Anthropic (Claude) Messages und Google Gemini.

WebUI auf demselben Port: Modellwechsel, Parameter, Logs, PWA-Installation.

MCP und Function Calling für werkzeuggestützte Abläufe; strukturierte Ausgabe via GBNF/JSON Schema.

---

2. Zielgruppe

Für alle, die eine private, vollständig lokale LLM-Umgebung wollen:

- Offline-orientierte Nutzer

- Entwickler mit lokalem Backend

- Fortgeschrittene, die Sampling optimieren

- Forschende, die Inferenzverhalten testen

- Datenschutzbewusste Nutzer

Leistung anpassbar: Kontextgröße, Threads, Batch, GPU-Offload, KV-Quantisierung und MTP.

---

3. Hauptfunktionen

- GGUF-Suche/Download von Hugging Face; Geräte-Eignungsbewertung, mmproj-Download per Tipp

- Qwen3-VL Vision (Standard); n_ctx-Autoerweiterung für große Bilder; GPU→CPU-Fallback

- Lokaler GGUF-Import; Umbenennen/Löschen; LoRA-Adapter (Laufzeit, Verwaltung in Einstellungen)

- MTP-Decoding; Details: Mirostat, DRY, XTC, Min-p, Typical-p, Penalties, dynatemp

- Aktualisierte Engine: llama.cpp b10621 (v0.3.0) – neue Modelle, Adreno OpenCL GPU

- Ollama-API: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive

- OpenAI-API: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- Anthropic (Claude) API: /v1/messages, /v1/messages/count_tokens, GET /v1/models; Dokument-/PDF-Blöcke; Thinking via anthropic-beta-Header

- Google Gemini API: generateContent/streamGenerateContent; GET /v1beta/models (Liste/Einzeln); countTokens; embedContent; JSON-Modus; thinkingBudget

- Swagger-UI unter /swagger: interaktive OpenAPI-Dokumentation (Einstellungen → „Open API Docs")

- Verbindungstest-Panel in Einstellungen: erreichbare URLs je Netzwerk-Interface

- Geräteprotokoll via GET /api/diagnostics; LLM-KI-Server-Guide-Profil enthalten

- Mehrsprachige WebUI (9 Sprachen), PWA; MCP und Function Calling

- Profil-Backup/-Wiederherstellung; automatische Prompt-Template-Wahl

Vollständige API-Doku, Beispiele und interaktiver Tester:

https://micklab.web.app/llama-tester-en.html

---

4. Erste Schritte

A) API/WebUI starten → Im Browser öffnen

1. Tippe im Hauptbildschirm auf „API/WebUI starten".

2. Tippe auf „Im Browser öffnen", um die WebUI zu starten.

3. Chatte und führe das Modell direkt in der WebUI aus.

- Hinweis: Ist das Modell noch nicht geladen, lädt die WebUI es bei der ersten Nachricht.

B) Direktausführung

1. Öffne den Bereich „Direktausführung".

2. Gib einen Prompt ein und tippe auf „Senden".

C) Modell in Einstellungen vorbereiten

1. Öffne Einstellungen.

2. Suche auf Hugging Face, gib URL ein oder importiere lokal.

3. Passe Parameter an (Kontext, Temperatur, Penalties, MTP, GPU-Offload usw.).

4. Tippe „Konfiguration speichern", dann „SPEICHERN & SCHLIESSEN".

5. Erstelle optional ein Profil-Backup.