LLM Hoster

Trasforma il tuo telefono Android in un potente server AI privato: niente cloud, niente abbonamento, nessun dato che esce dal tuo dispositivo.

LLM Hoster ti permette di scaricare ed eseguire modelli linguistici di grandi dimensioni (LLM) direttamente sul tuo telefono utilizzando il motore di inferenza llama.cpp ed espone un'API completamente compatibile sulla tua rete locale. Usalo con qualsiasi client che supporti l'API base/v1: Open WebUI, Continue.dev, Chatbox, LM Studio o le tue app.

━━━━━━━━━━━━━━━━━━━━

🔒 COMPLETAMENTE PRIVATO

I tuoi dati non lasciano mai il tuo dispositivo. Non è necessaria la connessione a Internet per l'inferenza. Nessuna chiave API, nessun costo cloud, nessuna telemetria. Ciò che accade sul tuo telefono rimane sul tuo telefono.

📥 DOWNLOAD DI MODELLI CON UN SOLO TOCCO

Sfoglia e scarica i modelli GGUF da Hugging Face con un solo tocco. Basta incollare il nome di un repository come "autore/nome_modello-GGUF": l'app troverà e scaricherà automaticamente la versione quantizzata migliore per dispositivi mobili.

🌐 API COMPATIBILE CON /v1

Esponi una vera API REST sulla tua rete locale:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Connettiti dal tuo laptop, tablet o qualsiasi dispositivo sulla stessa rete.

💬 CHAT INTEGRATA

Chatta con il modello che hai caricato direttamente all'interno dell'app. Non è necessario alcun client esterno per conversazioni rapide.

⚡ OTTIMIZZAZIONE DELLE PRESTAZIONI

Ottimizza l'inferenza per il tuo dispositivo:

• Allocazione dei core della CPU (2-8 thread)

• Quantizzazione della cache KV (q4_0, q8_0)

• Dimensione della finestra di contesto (2K-16K token)

• Controllo della dimensione del batch

• Offload del layer GPU

• Supporto per Flash Attention

🔧 ESEGUI IN BACKGROUND

Un servizio in primo piano mantiene il server attivo anche quando cambi app. Puoi interromperlo in qualsiasi momento dal pannello delle notifiche.

━━━━━━━━━━━━━━━━━━━━

MODELLI SUPPORTATI

Funziona con qualsiasi modello in formato GGUF. Punti di partenza consigliati:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (quantizzato Q4)

I modelli quantizzati più piccoli (Q4_K_M, Q4_0) funzionano al meglio sui dispositivi mobili. I modelli vengono memorizzati localmente e persistono tra una sessione e l'altra.

━━━━━━━━━━━━━━━━━━━━

CASI D'USO

• Assistente AI privato senza dipendenza dal cloud

• Sviluppo e test di app basate su LLM

• AI offline in aree con connettività limitata

• Apprendimento e sperimentazione con modelli open source

• Distribuzione di AI su più dispositivi nella rete domestica

━━━━━━━━━━━━━━━━━━━━

Nessuna pubblicità. Nessun tracciamento. Nessun account. Solo AI sul tuo telefono.

Scarica LLM Hoster e inizia oggi stesso a ospitare il tuo server AI privato.