LLM Hoster

Zmień swój telefon z Androidem w potężny, prywatny serwer AI — bez chmury, bez subskrypcji, bez danych opuszczających urządzenie.

LLM Hoster umożliwia pobieranie i uruchamianie dużych modeli językowych (LLM) bezpośrednio na telefonie za pomocą silnika wnioskowania llama.cpp i udostępnia w pełni kompatybilny interfejs API w sieci lokalnej. Używaj go z dowolnym klientem obsługującym baseAPI/v1API — Open WebUI, Continue.dev, Chatbox, LM Studio lub własnymi aplikacjami.

━━━━━━━━━━━━━━━━━━━━━

🔒 CAŁKOWITA PRYWATNOŚĆ

Twoje dane nigdy nie opuszczają Twojego urządzenia. Nie potrzebujesz internetu do wnioskowania. Bez kluczy API, bez kosztów chmury, bez telemetrii. To, co dzieje się na Twoim telefonie, pozostaje na nim.

📥 POBIERANIE MODELI JEDNYM DOTKNIĘCIEM

Przeglądaj i pobieraj modele GGUF z Hugging Face jednym dotknięciem. Wystarczy wkleić nazwę repozytorium, np. „autor/nazwa_modelu-GGUF” — aplikacja automatycznie znajdzie i pobierze najlepszą skwantyzowaną wersję dla urządzeń mobilnych.

🌐 API ZGODNE Z /v1

Udostępnij prawdziwe API REST w swojej sieci LAN:

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

Połącz się z laptopa, tabletu lub dowolnego urządzenia w tej samej sieci.

💬 WBUDOWANY CZAT

Czatuj z załadowanym modelem bezpośrednio w aplikacji. Nie potrzebujesz zewnętrznego klienta do szybkich rozmów.

⚡ DOSTRAJANIE WYDAJNOŚCI

Dostosuj wnioskowanie dla swojego urządzenia:

• Alokacja rdzeni procesora (2–8 wątków)

• Kwantyzacja pamięci podręcznej KV (q4_0, q8_0)

• Rozmiar okna kontekstowego (2 tys.–16 tys. tokenów)

• Kontrola rozmiaru wsadu

• Odciążanie warstwy GPU

• Obsługa Flash Attention

🔧 DZIAŁA W TLE

Usługa na pierwszym planie utrzymuje działanie serwera nawet podczas przełączania aplikacji. Można ją w dowolnym momencie zatrzymać z poziomu paska powiadomień.

━━━━━━━━━━━━━━━━━━━━━

OBSŁUGIWANE MODELE

Działa z dowolnym modelem w formacie GGUF. Zalecane punkty wyjścia:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (kwantyzowany Q4)

Mniejsze modele kwantyzowane (Q4_K_M, Q4_0) działają najlepiej na telefonach. Modele są przechowywane lokalnie i zachowywane między sesjami.

━━━━━━━━━━━━━━━━━━━━

PRZYPADKI UŻYCIA

• Prywatny asystent AI z zerową zależnością od chmury

• Tworzenie i testowanie aplikacji opartych na LLM

• AI offline w obszarach o ograniczonej łączności

• Nauka i eksperymentowanie z modelami open source

• Udostępnianie AI wielu urządzeniom w sieci domowej

━━━━━━━━━━━━━━━━━━━━

Bez reklam. Bez śledzenia. Bez kont. Tylko AI w Twoim telefonie.

Pobierz LLM Hoster i zacznij hostować swój własny prywatny serwer AI już dziś.