LLM Hoster

Verander je Android-telefoon in een krachtige, privé AI-server — geen cloud, geen abonnement, geen data die je apparaat verlaat.

Met LLM Hoster kun je grote taalmodellen (LLM's) rechtstreeks op je telefoon downloaden en uitvoeren met behulp van de llama.cpp inferentie-engine. Het biedt een volledig compatibele API via je lokale netwerk. Gebruik het met elke client die de baseAPI/v1API ondersteunt — Open WebUI, Continue.dev, Chatbox, LM Studio of je eigen apps.

━━━━━━━━━━━━━━━━━━━━

🔒 VOLLEDIG PRIVAAT

Je data verlaat je apparaat nooit. Geen internetverbinding nodig voor inferentie. Geen API-sleutels, geen cloudkosten, geen telemetrie. Wat er op je telefoon gebeurt, blijft op je telefoon.

📥 MODELDOWNLOADEN MET ÉÉN TIK

Blader door en download GGUF-modellen van Hugging Face met één tik. Plak gewoon een repositorynaam zoals "author/model_name-GGUF" — de app vindt en downloadt automatisch de beste gekwantiseerde versie voor mobiel.

🌐 /v1-COMPATIBELE API

Maak een echte REST API beschikbaar op je LAN:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Maak verbinding vanaf je laptop, tablet of elk ander apparaat op hetzelfde netwerk.

💬 INGEBOUWDE CHAT

Chat direct met je geladen model in de app. Geen externe client nodig voor snelle gesprekken.

⚡ PRESTATIE-OPTIMALISATIE

Verfijn de inferentie voor uw apparaat:

• CPU-kerntoewijzing (2–8 threads)

• KV-cachekwantisatie (q4_0, q8_0)

• Contextvenstergrootte (2K–16K tokens)

• Batchgroottebeheer

• GPU-laagontlasting

• Flash Attention-ondersteuning

🔧 DRAAIT OP DE ACHTERGROND

Een voorgrondservice houdt de server actief, zelfs wanneer u van app wisselt. U kunt deze op elk gewenst moment stoppen via het notificatiepaneel.

━━━━━━━━━━━━━━━━━━━━

ONDERSTEUNDE MODELLEN

Werkt met elk GGUF-formaat model. Aanbevolen startpunten:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4 gekwantiseerd)

Kleinere gekwantiseerde modellen (Q4_K_M, Q4_0) werken het beste op telefoons. Modellen worden lokaal opgeslagen en blijven behouden tussen sessies.

━━━━━━━━━━━━━━━━━━━━

TOEPASSINGSGEBIEDEN

• Privé AI-assistent zonder afhankelijkheid van de cloud

• Ontwikkeling en testen van apps die gebruikmaken van LLM

• Offline AI in gebieden met beperkte connectiviteit

• Leren en experimenteren met open-source modellen

• AI beschikbaar stellen aan meerdere apparaten in uw thuisnetwerk

━━━━━━━━━━━━━━━━━━━━

Geen advertenties. Geen tracking. Geen accounts. Gewoon AI op uw telefoon.

Download LLM Hoster en begin vandaag nog met het hosten van uw eigen privé AI-server.