LLM Hoster

Ubah ponsel Android Anda menjadi server AI pribadi yang andal — tanpa cloud, tanpa langganan, tanpa data yang meninggalkan perangkat Anda.

LLM Hoster memungkinkan Anda mengunduh dan menjalankan model bahasa besar (LLM) langsung di ponsel Anda menggunakan mesin inferensi llama.cpp, dan mengekspos API yang sepenuhnya kompatibel melalui jaringan lokal Anda. Gunakan dengan klien apa pun yang mendukung baseAPI/v1API — Open WebUI, Continue.dev, Chatbox, LM Studio, atau aplikasi Anda sendiri.

━━━━━━━━━━━━━━━━━━━━

🔒 SEPENUHNYA PRIVAT

Data Anda tidak pernah meninggalkan perangkat Anda. Tidak diperlukan internet untuk inferensi. Tidak ada kunci API, tidak ada biaya cloud, tidak ada telemetri. Apa pun yang terjadi di ponsel Anda tetap di ponsel Anda.

📥 UNDUHAN MODEL SEKALI KETUK

Jelajahi dan unduh model GGUF dari Hugging Face hanya dengan satu ketukan. Cukup tempelkan nama repositori seperti "author/model_name-GGUF" — aplikasi akan secara otomatis menemukan dan mengunduh versi terkuantisasi terbaik untuk perangkat seluler.

🌐 API YANG KOMPATIBEL DENGAN /v1

Ekspos API REST sungguhan di LAN Anda:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Terhubung dari laptop, tablet, atau perangkat apa pun di jaringan yang sama.

💬 CHAT TERINTEGRASI

Mengobrol dengan model yang telah Anda muat langsung di dalam aplikasi. Tidak diperlukan klien eksternal untuk percakapan cepat.

⚡ PENYETELAN KINERJA

Sempurnakan inferensi untuk perangkat Anda:

• Alokasi inti CPU (2–8 thread)

• Kuantisasi cache KV (q4_0, q8_0)

• Ukuran jendela konteks (2K–16K token)

• Kontrol ukuran batch

• Offloading lapisan GPU

• Dukungan Flash Attention

🔧 BERJALAN DI LATAR BELAKANG

Layanan latar depan menjaga server tetap aktif bahkan saat Anda beralih aplikasi. Hentikan kapan saja dari bilah notifikasi.

━━━━━━━━━━━━━━━━━━━━

MODEL YANG DIDUKUNG

Bekerja dengan model format GGUF apa pun. Titik awal yang direkomendasikan:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4 terkuantisasi)

Model terkuantisasi yang lebih kecil (Q4_K_M, Q4_0) berjalan paling baik di ponsel. Model disimpan secara lokal dan tetap ada di seluruh sesi.

━━━━━━━━━━━━━━━━━━━━

KASUS PENGGUNAAN

• Asisten AI pribadi tanpa ketergantungan cloud

• Pengembangan & pengujian aplikasi berbasis LLM

• AI offline di area dengan konektivitas terbatas

• Pembelajaran dan eksperimen dengan model open-source

• Menyajikan AI ke beberapa perangkat di jaringan rumah Anda

━━━━━━━━━━━━━━━━━━━━

Tanpa iklan. Tanpa pelacakan. Tanpa akun. Hanya AI di ponsel Anda.

Unduh LLM Hoster dan mulai hosting server AI pribadi Anda sendiri hari ini.