LLM Hoster

Verwandeln Sie Ihr Android-Smartphone in einen leistungsstarken, privaten KI-Server – ohne Cloud, ohne Abonnement, ohne dass Ihre Daten Ihr Gerät verlassen.

Mit LLM Hoster können Sie große Sprachmodelle (LLMs) direkt auf Ihrem Smartphone herunterladen und ausführen. Die Inferenz-Engine llama.cpp wird verwendet und eine vollständig kompatible API über Ihr lokales Netzwerk bereitgestellt. Nutzen Sie LLM Hoster mit jedem Client, der die baseAPI/v1API unterstützt – Open WebUI, Continue.dev, Chatbox, LM Studio oder Ihre eigenen Apps.

━━━━━━━━━━━━━━━━━━━━

🔒 Absolut privat

Ihre Daten verlassen niemals Ihr Gerät. Für die Inferenz ist keine Internetverbindung erforderlich. Keine API-Schlüssel, keine Cloud-Kosten, keine Telemetrie. Was auf Ihrem Smartphone passiert, bleibt auf Ihrem Smartphone.

📥 MODELL-DOWNLOADS MIT EINEM KLICK

Durchsuche und lade GGUF-Modelle von Hugging Face mit nur einem Klick herunter. Füge einfach einen Repository-Namen wie „author/model_name-GGUF“ ein – die App findet und lädt automatisch die beste quantisierte Version für Mobilgeräte herunter.

🌐 /v1-KOMPATIBLE API

Stelle eine echte REST-API in deinem LAN bereit:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Verbinde dich von deinem Laptop, Tablet oder einem anderen Gerät im selben Netzwerk.

💬 INTEGRIERTER CHAT

Chatte direkt in der App mit deinem geladenen Modell. Für schnelle Unterhaltungen ist kein externer Client erforderlich.

⚡ LEISTUNGSTUNING

Optimieren Sie die Inferenz für Ihr Gerät:

• CPU-Kernzuweisung (2–8 Threads)

• KV-Cache-Quantisierung (q4_0, q8_0)

• Kontextfenstergröße (2K–16K Tokens)

• Batch-Größensteuerung

• GPU-Layer-Offloading

• Flash Attention-Unterstützung

🔧 LÄUFT IM HINTERGRUND

Ein Vordergrunddienst hält den Server auch beim App-Wechsel aktiv. Sie können ihn jederzeit über die Benachrichtigungsleiste beenden.

━━━━━━━━━━━━━━━━━━━━

UNTERSTÜTZTE MODELLE

Funktioniert mit allen Modellen im GGUF-Format. Empfohlene Startpunkte:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1,5B / 3B)

• Mistral 7B (Q4 quantisiert)

Kleinere quantisierte Modelle (Q4_K_M, Q4_0) laufen am besten auf Smartphones. Die Modelle werden lokal gespeichert und bleiben sitzungsübergreifend erhalten.

━━━━━━━━━━━━━━━━━━━━

ANWENDUNGSFÄLLE

• Privater KI-Assistent ohne Cloud-Abhängigkeit

• Entwicklung und Test von LLM-basierten Apps

• Offline-KI in Gebieten mit eingeschränkter Internetverbindung

• Lernen und Experimentieren mit Open-Source-Modellen

• Bereitstellung von KI auf mehreren Geräten in Ihrem Heimnetzwerk

━━━━━━━━━━━━━━━━━━━━

Keine Werbung. Kein Tracking. Keine Konten. Nur KI auf Ihrem Smartphone.

Laden Sie LLM Hoster herunter und hosten Sie noch heute Ihren eigenen privaten KI-Server.