LLM Hoster

Tukarkan telefon Android anda menjadi pelayan AI peribadi yang berkuasa — tiada awan, tiada langganan, tiada data meninggalkan peranti anda.

LLM Hoster membolehkan anda memuat turun dan menjalankan model bahasa besar (LLM) terus pada telefon anda menggunakan enjin inferens llama.cpp dan mendedahkan API yang serasi sepenuhnya melalui rangkaian tempatan anda. Gunakannya dengan mana-mana klien yang menyokong baseAPI/v1API — Buka WebUI, Continue.dev, Chatbox, LM Studio atau aplikasi anda sendiri.

━━━━━━━━━━━━━━━━━━━━━

🔒 SEPENUHNYA PERSENDIRIAN

Data anda tidak pernah meninggalkan peranti anda. Tiada internet diperlukan untuk inferens. Tiada kunci API, tiada kos awan, tiada telemetri. Apa yang berlaku pada telefon anda kekal pada telefon anda.

📥 MUAT TURUN MODEL SATU KETIK

Layari dan muat turun model GGUF daripada Hugging Face dengan satu ketik. Hanya tampal nama repo seperti "pengarang/nama_model-GGUF" — aplikasi akan mencari dan memuat turun versi terkuantum terbaik untuk mudah alih secara automatik.

🌐 API SESUAI /v1

Dedahkan API REST sebenar pada LAN anda:

• DAPATKAN /v1/model

• POST /v1/chat/completions

• POST /v1/completions

Sambungkan daripada komputer riba, tablet atau mana-mana peranti anda pada rangkaian yang sama.

💬 SEMBANG TERBINA DALAM

Sembang dengan model anda yang dimuatkan terus di dalam aplikasi. Tiada klien luaran diperlukan untuk perbualan pantas.

⚡ PENALAAN PRESTASI

Penalaan halus inferens untuk peranti anda:

• Peruntukan teras CPU (2–8 thread)

• Pengkuantuman cache KV (q4_0, q8_0)

• Saiz tetingkap konteks (token 2K–16K)

• Kawalan saiz kelompok

• Pemunggahan lapisan GPU

• Sokongan Perhatian Kilat

🔧 BERJALAN DI LATAR BELAKANG

Perkhidmatan latar depan memastikan pelayan terus hidup walaupun anda menukar aplikasi. Hentikannya pada bila-bila masa dari bidai pemberitahuan.

━━━━━━━━━━━━━━━━━━━━

MODEL YANG DISOKONG

Berfungsi dengan mana-mana model format GGUF. Titik permulaan yang disyorkan:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4 terkuantum)

Model terkuantum yang lebih kecil (Q4_K_M, Q4_0) berfungsi dengan baik pada telefon. Model disimpan secara setempat dan kekal merentasi sesi.

━━━━━━━━━━━━━━━━━━━━━

KES PENGGUNAAN

• Pembantu AI persendirian dengan kebergantungan sifar awan

• Pembangunan & pengujian aplikasi berkuasa LLM

• AI luar talian di kawasan yang mempunyai sambungan terhad

• Pembelajaran dan eksperimen dengan model sumber terbuka

• Melayan AI ke berbilang peranti di rangkaian rumah anda

━━━━━━━━━━━━━━━━━━━━━

Tiada iklan. Tiada penjejakan. Tiada akaun. Hanya AI pada telefon anda.

Muat turun LLM Hoster dan mula mengehoskan pelayan AI persendirian anda sendiri hari ini.