LLM AI Server with llama.cpp

Sınırsız yapay zeka, sıfır bulut. Telefonunuz sunucu.

Güçlü LLM'leri yerel, özel ve özgürce çalıştırın — herkesin kullanabileceği hafif bir kullanıcı arayüzü ile.

Tek bir Android cihaz, aynı ağdaki PC'lerden, tabletlerden ve diğer cihazlardan erişilebilen kişisel yapay zeka arka ucunuz olur.

---

1. Genel Bakış

llama.cpp içeren LLM Yapay Zeka Sunucusu, Android için tamamen yerel bir LLM sunucusudur ve özel, çevrimdışı metin ve çok modlu üretim sağlar.

Desteklenen model aileleri: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai ve diğerleri.

Dahili bir API sunucusu, Ollama, OpenAI, Anthropic (Claude) Mesajlar ve Google Gemini API'leri ile uyumludur — sohbet, tamamlama, üretim, yerleştirme, tokenleştirme/token sayımı ve model listeleme uç noktaları sağlar.

Birlikte gelen WebUI aynı portta çalışır ve model değiştirme, parametre düzenleme, günlük görüntüleme ve PWA kurulumunu destekler.

MCP ve Fonksiyon Çağrısı, araç destekli iş akışlarını mümkün kılar; GBNF ve JSON Şeması aracılığıyla yapılandırılmış çıktı.

---

2. Hedef Kullanıcılar ve Desteklenen Cihazlar

Özel, tamamen yerel bir LLM ortamı isteyen kullanıcılar için tasarlanmıştır:

- Çevrimdışı öncelikli kullanıcılar

- Yerel bir arka uç entegre eden geliştiriciler

- Örnekleme ve performansı ayarlayan ileri düzey kullanıcılar

- Çıkarım davranışını test eden araştırmacılar

- Gizliliğe odaklı kullanıcılar

Performans, bağlam boyutu, iş parçacıkları, toplu işlem boyutu, GPU boşaltma, KV önbellek nicelemesi ve isteğe bağlı MTP kod çözme yoluyla ayarlanabilir.

---

3. Temel Özellikler

- Hugging Face GGUF arama ve indirme; cihaz uygunluğu kılavuzu, tek dokunuşla mmproj indirme

- Qwen3-VL görüntüleme (varsayılan olarak paketlenmiştir); büyük görüntüler için otomatik n_ctx genişletme; GPU→CPU otomatik geri dönüş

- Yerel GGUF içe aktarma; model yeniden adlandırma/silme; LoRA adaptör desteği (çalışma zamanında uygulanır, Ayarlar'dan yönetilir)

- MTP spekülatif kod çözme; ayrıntılı parametreler (Mirostat, DRY, XTC, Min-p, Typical-p, cezalar, dynatemp)

- Yükseltilmiş llama.cpp motoru (b10621, v0.3.0) — daha yeni modeller, Adreno OpenCL GPU

- Ollama API: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (yüklemeyi kaldırma / ön yükleme / süre dizeleri)

- OpenAI API: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- Anthropic (Claude) API: /v1/messages (streaming, thinking, image/audio, tool_use), /v1/messages/count_tokens, GET /v1/models; document/PDF içerik blokları; anthropic-beta başlığı aracılığıyla düşünme

- Google Gemini API: generateContent/streamGenerateContent; GET /v1beta/models (liste/tekli); countTokens; embedContent/batchEmbedContents; JSON modu (responseMimeType); thinkingBudget

- /swagger adresindeki Swagger UI: etkileşimli OpenAPI 3.0 belgeleri, Ayarlar → "Open API Belgeleri" bölümünden açılabilir

- Ayarlar'daki bağlantı kontrol paneli: tüm arayüzleri inceler ve erişilebilir URL'leri gösterir (LAN, operatör vb.)

- Paketlenmiş LLM AI Sunucu Kılavuzu profili; GET /api/diagnostics aracılığıyla cihaz içi günlük alma

- Çok dilli WebUI (9 dil), PWA desteği; MCP ve Fonksiyon Çağrısı

- Profil yedekleme ve geri yükleme; otomatik istem şablonu seçimi

Tam API belgeleri, örnekler ve etkileşimli test aracı:

https://micklab.web.app/llama-tester-en.html

---

4. Başlangıç

A) API/WebUI'yi Başlat → Tarayıcıda Aç

1. Ana ekranda API/WebUI'yi Başlat'a dokunun.

2. Paketlenmiş WebUI'yi başlatmak için Tarayıcıda Aç'a dokunun.

3. WebUI'den doğrudan sohbet edin ve modeli çalıştırın.

- Not: İlk kullanımda, model indirilmemişse, ilk mesajı gönderdiğinizde Web arayüzü modeli indirecektir.

B) Doğrudan Çalıştırma

1. Ana ekranda Doğrudan Çalıştırma bölümünü açın.

2. Bir komut girin ve modeli doğrudan uygulama içinde çalıştırmak için Gönder'e dokunun.

C) veya Önce Ayarlar'ı Kullanarak Bir Model Hazırlama

1. Ayarlar'ı açın.

2. Bir GGUF modeli için Hugging Face'i arayın, doğrudan bir URL girin veya yerel bir GGUF dosyasını içe aktarın.

3. Parametreleri ayarlayın (bağlam boyutu, sıcaklık, cezalar, MTP, GPU boşaltma vb.).

4. Modeli yüklemek için Yapılandırmayı Kaydet'e, ardından KAYDET & KAPAT'a dokunun.

5. İsteğe bağlı olarak, daha sonra geri yüklemek için bir profil yedeklemesi oluşturun.