LLM Hoster

Android telefonunuzu güçlü, özel bir yapay zeka sunucusuna dönüştürün — bulut yok, abonelik yok, cihazınızdan veri çıkışı yok.

LLM Hoster, llama.cpp çıkarım motorunu kullanarak büyük dil modellerini (LLM'ler) doğrudan telefonunuza indirmenize ve çalıştırmanıza olanak tanır ve yerel ağınız üzerinden tamamen uyumlu bir API sunar. baseAPI/v1API'yi destekleyen herhangi bir istemciyle kullanın — Open WebUI, Continue.dev, Chatbox, LM Studio veya kendi uygulamalarınız.

━━━━━━━━━━━━━━━━━━━━

🔒 TAMAMEN ÖZEL

Verileriniz asla cihazınızdan ayrılmaz. Çıkarım için internet gerekmez. API anahtarları yok, bulut maliyetleri yok, telemetri yok. Telefonunuzda olanlar telefonunuzda kalır.

📥 TEK DOKUNUŞLA MODEL İNDİRME

Hugging Face'ten GGUF modellerini tek dokunuşla tarayın ve indirin. Sadece "yazar/model_adı-GGUF" gibi bir depo adı yapıştırın; uygulama otomatik olarak mobil için en iyi nicelleştirilmiş sürümü bulur ve indirir.

🌐 /v1 UYUMLU API

Yerel ağınızda gerçek bir REST API'si sunun:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Dizüstü bilgisayarınızdan, tabletinizden veya aynı ağdaki herhangi bir cihazdan bağlanın.

💬 DAHİLİ SOHBET

Yüklediğiniz modelle doğrudan uygulama içinde sohbet edin. Hızlı konuşmalar için harici bir istemciye gerek yok.

⚡ PERFORMANS AYARLARI

Cihazınız için çıkarımı ince ayar yapın:

• CPU çekirdek tahsisi (2–8 iş parçacığı)

• KV önbellek nicelemesi (q4_0, q8_0)

• Bağlam penceresi boyutu (2K–16K belirteç)

• Toplu işlem boyutu kontrolü

• GPU katmanı yükünün azaltılması

• Flash Dikkat desteği

🔧 ARKA PLANDA ÇALIŞIR

Ön planda çalışan bir servis, uygulamalar arasında geçiş yaptığınızda bile sunucuyu canlı tutar. Bildirim çubuğundan istediğiniz zaman durdurabilirsiniz.

━━━━━━━━━━━━━━━━━━━━

DESTEKLENEN MODELLER

Herhangi bir GGUF formatlı modelle çalışır. Önerilen başlangıç ​​noktaları:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4 nicelleştirilmiş)

Daha küçük nicelleştirilmiş modeller (Q4_K_M, Q4_0) telefonlarda en iyi performansı gösterir. Modeller yerel olarak saklanır ve oturumlar arasında kalıcıdır.

━━━━━━━━━━━━━━━━━━━━━

KULLANIM ALANLARI

• Bulut bağımlılığı olmayan özel yapay zeka asistanı

• LLM destekli uygulamaların geliştirilmesi ve test edilmesi

• Sınırlı bağlantıya sahip alanlarda çevrimdışı yapay zeka

• Açık kaynak modellerle öğrenme ve deney yapma

• Ev ağınızdaki birden fazla cihaza yapay zeka sunma

━━━━━━━━━━━━━━━━━━━━

Reklam yok. İzleme yok. Hesap yok. Sadece telefonunuzda yapay zeka.

LLM Hoster'ı indirin ve kendi özel yapay zeka sunucunuzu bugün barındırmaya başlayın.