LLM AI Server with llama.cpp

IA illimitée, zéro cloud. Votre téléphone est le serveur.

Exécutez de puissants LLM en local, en toute confidentialité et gratuitement, avec une interface légère et accessible à tous.

Un appareil Android devient votre backend IA personnel, accessible depuis PC, tablettes et autres appareils du même réseau.

---

1. Présentation

LLM AI Server avec llama.cpp est un serveur LLM entièrement local pour Android : génération de texte et multimodale, privée et hors ligne.

Familles supportées : Gemma-4/Vision, Qwen/Vision, Mistral, LLaMA, Phi, Bonsai, etc.

Serveur API intégré compatible Ollama, OpenAI, Anthropic (Claude) Messages et Google Gemini.

WebUI sur le même port : changement de modèle, paramètres, logs, installation PWA.

MCP et Function Calling pour workflows outillés ; sortie structurée via GBNF/JSON Schema.

---

2. Utilisateurs cibles

Pour qui veut un environnement LLM privé et entièrement local :

- Utilisateurs hors ligne

- Développeurs intégrant un backend local

- Utilisateurs avancés réglant le sampling

- Chercheurs testant l'inférence

- Utilisateurs soucieux de la confidentialité

Performances ajustables : contexte, threads, batch, offload GPU, quantification KV et MTP.

---

3. Fonctionnalités clés

- Recherche/téléchargement GGUF depuis Hugging Face ; évaluation d'adéquation, download mmproj en un geste

- Qwen3-VL vision (par défaut) ; n_ctx étendu pour les grandes images ; repli GPU→CPU auto

- Import GGUF local ; renommage/suppression ; adaptateurs LoRA (runtime, gestion dans les paramètres)

- Décodage spéculatif MTP ; paramètres détaillés (Mirostat, DRY, XTC, Min-p, Typical-p, pénalités, dynatemp)

- Moteur llama.cpp b10621 (v0.3.0) — nouveaux modèles, GPU Adreno OpenCL

- API Ollama : /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags ; keep_alive

- API OpenAI : /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude) : /v1/messages, /v1/messages/count_tokens, GET /v1/models ; blocs document/PDF ; Thinking via en-tête anthropic-beta

- API Google Gemini : generateContent/streamGenerateContent ; GET /v1beta/models (liste/single) ; countTokens ; embedContent ; mode JSON ; thinkingBudget

- Swagger UI sous /swagger : documentation OpenAPI interactive (Paramètres → « Open API Docs »)

- Panneau de vérification de connexion dans les paramètres : URLs accessibles par interface réseau

- Logs via GET /api/diagnostics ; profil LLM AI Server Guide inclus

- WebUI multilingue (9 langues), PWA ; MCP et Function Calling

- Sauvegarde/restauration de profils ; sélection automatique du template de prompt

Documentation complète, exemples et testeur interactif :

https://micklab.web.app/llama-tester-en.html

---

4. Pour commencer

A) Démarrer API/WebUI → Ouvrir dans le navigateur

1. Touchez « Démarrer l'API/WebUI » sur l'écran principal.

2. Touchez « Ouvrir dans le navigateur » pour lancer la WebUI.

3. Discutez et exécutez le modèle depuis la WebUI.

- Note : si le modèle n'est pas téléchargé, la WebUI le télécharge au premier message.

B) Exécution directe

1. Ouvrez la section « Exécution directe ».

2. Saisissez un prompt et touchez « Envoyer ».

C) Ou préparez un modèle dans les Paramètres

1. Ouvrez les Paramètres.

2. Recherchez sur Hugging Face, saisissez une URL ou importez localement.

3. Réglez les paramètres (contexte, température, pénalités, MTP, offload GPU, etc.).

4. Touchez « Enregistrer la configuration », puis « ENREGISTRER ET FERMER ».

5. Créez éventuellement une sauvegarde de profil.