LLM AI Server with llama.cpp

AI tak terbatas, tanpa cloud. Ponsel Anda adalah servernya.

Jalankan LLM yang canggih secara lokal, pribadi, dan gratis — dengan UI ringan yang dapat digunakan siapa pun.

Satu perangkat Android menjadi backend AI pribadi Anda, dapat diakses dari PC, tablet, dan perangkat lain di jaringan yang sama.

---

1. Gambaran Umum

LLM AI Server dengan llama.cpp adalah server LLM lokal sepenuhnya untuk Android, yang memungkinkan pembuatan teks dan multimodal secara pribadi dan offline.

Keluarga model yang didukung: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai, dan lainnya.

Server API bawaan kompatibel dengan Ollama, OpenAI, Anthropic (Claude) Messages, dan API Google Gemini — menyediakan endpoint obrolan, penyelesaian, pembuatan, penyematan, tokenisasi/penghitungan token, dan daftar model.

WebUI yang disertakan berjalan pada port yang sama dan mendukung peralihan model, pengeditan parameter, tampilan log, dan instalasi PWA.

MCP dan Pemanggilan Fungsi memungkinkan alur kerja yang diper augmented oleh alat; output terstruktur melalui GBNF dan Skema JSON.

---

2. Pengguna yang Dituju dan Perangkat yang Didukung

Dirancang untuk pengguna yang menginginkan lingkungan LLM lokal sepenuhnya dan privat:

- Pengguna yang mengutamakan offline

- Pengembang yang mengintegrasikan backend lokal

- Pengguna tingkat lanjut yang menyetel pengambilan sampel dan kinerja

- Peneliti yang menguji perilaku inferensi

- Pengguna yang berfokus pada privasi

Kinerja dapat disetel melalui ukuran konteks, thread, ukuran batch, offload GPU, kuantisasi cache KV, dan decoding MTP opsional.

---

3. Fitur Utama

- Pencarian & pengunduhan Hugging Face GGUF; panduan kesesuaian perangkat, pengunduhan mmproj sekali ketuk

- Visi Qwen3-VL (default terbundel); ekspansi n_ctx otomatis untuk gambar besar; fallback otomatis GPU→CPU

- Impor GGUF lokal; penggantian nama/penghapusan model; dukungan adaptor LoRA (terapkan saat runtime, kelola dari Pengaturan)

- Decoding spekulatif MTP; parameter detail (Mirostat, DRY, XTC, Min-p, Typical-p, penalti, dynatemp)

- Mesin llama.cpp yang ditingkatkan (b10621, v0.3.0) — model yang lebih baru, GPU Adreno OpenCL

- API Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (unload / preload / string durasi)

- API OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude): /v1/messages (streaming, thinking, image/audio, tool_use), /v1/messages/count_tokens, GET /v1/models; Blok konten dokumen/PDF; berpikir melalui header anthropic-beta

- Google Gemini API: generateContent/streamGenerateContent; GET /v1beta/models (list/single); countTokens; embedContent/batchEmbedContents; mode JSON (responseMimeType); thinkingBudget

- Swagger UI di /swagger: dokumen OpenAPI 3.0 interaktif, buka dari Pengaturan → "Dokumen Open API"

- Panel pengecekan koneksi di Pengaturan: memeriksa semua antarmuka dan menampilkan URL yang dapat dijangkau (LAN, operator, dll.)

- Profil Panduan Server AI LLM yang dibundel; pengambilan log di perangkat melalui GET /api/diagnostics

- WebUI multibahasa (9 bahasa), dukungan PWA; MCP dan Pemanggilan Fungsi

- Pencadangan & pemulihan profil; Pemilihan template prompt otomatis

Dokumentasi API lengkap, contoh & penguji interaktif:

https://micklab.web.app/llama-tester-en.html

---

4. Memulai

A) Mulai API/WebUI → Buka di browser

1. Ketuk Mulai API/WebUI di layar utama.

2. Ketuk Buka di browser untuk meluncurkan WebUI yang disertakan.

3. Berbincang dan jalankan model langsung dari WebUI.

- Catatan: Pada penggunaan pertama, jika model belum diunduh, WebUI akan mengunduhnya saat Anda mengirim pesan pertama.

B) Jalankan Langsung

1. Buka bagian Jalankan Langsung di layar utama.

2. Masukkan prompt dan ketuk Kirim untuk menjalankan model langsung di dalam aplikasi.

C) atau Gunakan Pengaturan untuk menyiapkan model terlebih dahulu

1. Buka Pengaturan.

2. Cari Hugging Face untuk model GGUF, masukkan URL langsung, atau impor file GGUF lokal.

3. Sesuaikan parameter (ukuran konteks, suhu, penalti, MTP, offload GPU, dll.).

4. Ketuk Simpan Konfigurasi, lalu SIMPAN & TUTUP untuk memuat model.

5. Secara opsional, buat cadangan profil untuk pemulihan di kemudian hari.