LLM AI Server with llama.cpp

AI tanpa had, awan sifar. Telefon anda adalah pelayannya.

Jalankan LLM yang berkuasa secara setempat, persendirian dan bebas — dengan UI ringan yang boleh digunakan oleh sesiapa sahaja.

Satu peranti Android menjadi bahagian belakang AI peribadi anda, boleh diakses daripada PC, tablet dan peranti lain pada rangkaian yang sama.

---

1. Gambaran Keseluruhan

Pelayan AI LLM dengan llama.cpp ialah pelayan LLM setempat sepenuhnya untuk Android, yang membolehkan penjanaan teks persendirian, luar talian dan multimodal.

Famili model yang disokong: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai dan lain-lain.

Pelayan API terbina dalam serasi dengan Ollama, OpenAI, Anthropic (Claude) Messages dan Google Gemini API — menyediakan sembang, penyiapan, penjanaan, pembenaman, tokenisasi/kiraan token dan titik akhir penyenaraian model.

WebUI yang dibundel berjalan pada port yang sama dan menyokong penukaran model, penyuntingan parameter, paparan log dan pemasangan PWA.

MCP dan Function Calling membolehkan aliran kerja yang ditambah alat; output berstruktur melalui GBNF dan Skema JSON.

---

2. Pengguna yang Ditujukan dan Peranti yang Disokong

Direka untuk pengguna yang mahukan persekitaran LLM peribadi dan setempat sepenuhnya:

- Pengguna luar talian yang didahulukan

- Pembangun yang mengintegrasikan backend tempatan

- Pengguna lanjutan yang menala persampelan dan prestasi

- Penyelidik menguji tingkah laku inferens

- Pengguna yang berfokus pada privasi

Prestasi boleh ditala melalui saiz konteks, thread, saiz kelompok, pemunggahan GPU, pengkuantitian cache KV dan penyahkodan MTP pilihan.

---

3. Ciri Utama

- Carian & muat turun GGUF Wajah Peluk; panduan kesesuaian peranti, muat turun mmproj sekali ketik

- Penglihatan Qwen3-VL (lalai dibundel); pengembangan n_ctx automatik untuk imej besar; GPU→CPU auto-failback

- Import GGUF setempat; penamaan semula/padam model; Sokongan penyesuai LoRA (guna semasa masa jalan, urus daripada Tetapan)

- Penyahkodan spekulatif MTP; parameter terperinci (Mirostat, DRY, XTC, Min-p, Typical-p, penalti, dynatemp)

- Enjin llama.cpp yang dinaik taraf (b10621, v0.3.0) — model yang lebih baharu, GPU Adreno OpenCL

- API Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (unload / preload / duration strings)

- API OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude): /v1/messages (striming, thinking, image/audio, tool_use), /v1/messages/count_tokens, GET /v1/models; blok kandungan dokumen/PDF; berfikir melalui pengepala antropik-beta

- Google Gemini API: generateContent/streamGenerateContent; GET /v1beta/models (list/single); countTokens; embedContent/batchEmbedContents; mod JSON (responseMimeType); thinkingBudget

- Swagger UI di /swagger: dokumen OpenAPI 3.0 interaktif, buka dari Tetapan → "Buka Dokumen API"

- Panel semakan sambungan dalam Tetapan: menyiasat semua antara muka dan menunjukkan URL yang boleh dicapai (LAN, pembawa, dsb.)

- Profil Panduan Pelayan LLM AI Berpaket; pengambilan log pada peranti melalui GET /api/diagnostik

- WebUI berbilang bahasa (9 bahasa), sokongan PWA; MCP dan Panggilan Fungsi

- Sandaran & pemulihan profil; Pemilihan templat gesaan automatik

Dokumen API penuh, contoh & penguji interaktif:

https://micklab.web.app/llama-tester-en.html

---

4. Bermula

A) Mulakan API/WebUI → Buka dalam pelayar

1. Ketik Mulakan API/WebUI pada skrin utama.

2. Ketik Buka dalam pelayar untuk melancarkan WebUI yang dibundel.

3. Sembang dan jalankan model terus daripada WebUI.

- Nota: Pada penggunaan pertama, jika model tidak dimuat turun, WebUI akan memuat turunnya apabila anda menghantar mesej pertama.

B) Jalankan Terus

1. Buka bahagian Jalankan Terus pada skrin utama.

2. Masukkan gesaan dan ketik Hantar untuk menjalankan model terus di dalam aplikasi.

C) atau Gunakan Tetapan untuk menyediakan model terlebih dahulu

1. Buka Tetapan.

2. Cari model GGUF dalam Hugging Face, masukkan URL terus atau import fail GGUF tempatan.

3. Laraskan parameter (saiz konteks, suhu, penalti, MTP, penyingkiran GPU, dll.).

4. Ketik Simpan Konfigurasi, kemudian SIMPAN & TUTUP untuk memuatkan model.

5. Secara pilihan, cipta sandaran profil untuk pemulihan kemudian.