LLM AI Server with llama.cpp

Nieograniczona sztuczna inteligencja, zero chmury. Twój telefon to serwer.

Uruchamiaj potężne programy LLM lokalnie, prywatnie i swobodnie — z lekkim interfejsem użytkownika, z którego może korzystać każdy.

Jedno urządzenie z Androidem staje się Twoim osobistym zapleczem AI, dostępnym z komputerów PC, tabletów i innych urządzeń w tej samej sieci.

---

1. Omówienie

Serwer LLM AI z llama.cpp to w pełni lokalny serwer LLM dla Androida, umożliwiający prywatne generowanie wiadomości tekstowych offline i multimodalnych.

Obsługiwane rodziny modeli: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai i inne.

Wbudowany serwer API jest kompatybilny z interfejsami API Ollama, OpenAI, Anthropic (Claude) Messages i Google Gemini — zapewniając punkty końcowe do czatu, uzupełniania, generowania, osadzania, tokenizacji/zliczania tokenów i listowania modeli.

Dołączony interfejs WebUI działa na tym samym porcie i obsługuje przełączanie modeli, edycję parametrów, przeglądanie logów oraz instalację PWA.

MCP i wywoływanie funkcji umożliwiają rozszerzone o narzędzia przepływy pracy; ustrukturyzowane dane wyjściowe za pośrednictwem GBNF i schematu JSON.

--

2. Docelowi użytkownicy i obsługiwane urządzenia

Zaprojektowane dla użytkowników, którzy potrzebują prywatnego, w pełni lokalnego środowiska LLM:

- Użytkownicy offline

- Deweloperzy integrujący lokalne zaplecze

- Zaawansowani użytkownicy dostrajający próbkowanie i wydajność

- Badacze testujący zachowanie wnioskowania

- Użytkownicy nastawieni na prywatność

Wydajność dostrajana za pomocą rozmiaru kontekstu, wątków, rozmiaru partii, odciążenia GPU, kwantyzacji pamięci podręcznej KV i opcjonalnego dekodowania MTP.

--

3. Kluczowe funkcje

- Wyszukiwanie i pobieranie Hugging Face GGUF; wskazówki dotyczące przydatności urządzenia, pobieranie mmproj jednym dotknięciem

- Wizja Qwen3-VL (domyślna w zestawie); automatyczne rozszerzanie n_ctx dla dużych obrazów; Automatyczne przywracanie GPU→CPU

- Lokalny import GGUF; zmiana nazwy/usunięcie modelu; obsługa adaptera LoRA (zastosowanie w czasie wykonywania, zarządzanie w Ustawieniach)

- Dekodowanie spekulatywne MTP; szczegółowe parametry (Mirostat, DRY, XTC, Min-p, Typowe-p, kary, dynatemp)

- Ulepszony silnik llama.cpp (b10621, v0.3.0) — nowsze modele, procesor graficzny Adreno OpenCL

- API Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (rozładowywanie / wstępne ładowanie / ciągi czasu trwania)

- API OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude): /v1/messages (strumieniowanie, myślenie, obraz/audio, użycie_narzędzi), /v1/messages/count_tokens, GET /v1/models; bloki zawartości dokumentu/PDF; myślenie za pomocą nagłówka anthropic-beta

- API Google Gemini: generateContent/streamGenerateContent; GET /v1beta/models (lista/pojedynczy); countTokens; embedContent/batchEmbedContents; tryb JSON (responseMimeType); thinkingBudget

- Swagger UI w /swagger: interaktywna dokumentacja OpenAPI 3.0, otwierana w Ustawieniach → „Otwórz dokumentację API”

- Panel sprawdzania połączeń w Ustawieniach: bada wszystkie interfejsy i pokazuje dostępne adresy URL (LAN, operator itp.)

- Dołączony profil LLM AI Server Guide; pobieranie logów z urządzenia za pomocą GET /api/diagnostics

- Wielojęzyczny interfejs WebUI (9 języków), obsługa PWA; MCP i wywoływanie funkcji

- Tworzenie kopii zapasowej i przywracanie profilu; automatyczny wybór szablonu monitu

Pełna dokumentacja API, przykłady i interaktywny tester:

https://micklab.web.app/llama-tester-en.html

---

4. Wprowadzenie

A) Uruchom API/WebUI → Otwórz w przeglądarce

1. Dotknij Uruchom API/WebUI na ekranie głównym.

2. Dotknij Otwórz w przeglądarce, aby uruchomić dołączony interfejs WebUI. 3. Czatuj i uruchom model bezpośrednio z WebUI.

- Uwaga: Przy pierwszym użyciu, jeśli model nie zostanie pobrany, WebUI pobierze go po wysłaniu pierwszej wiadomości.

B) Uruchomienie bezpośrednie

1. Otwórz sekcję Uruchomienie bezpośrednie na ekranie głównym.

2. Wprowadź monit i dotknij Wyślij, aby uruchomić model bezpośrednio w aplikacji.

C) Lub użyj Ustawień, aby najpierw przygotować model

1. Otwórz Ustawienia.

2. Wyszukaj w Hugging Face model GGUF, wprowadź bezpośredni adres URL lub zaimportuj lokalny plik GGUF.

3. Dostosuj parametry (rozmiar kontekstu, temperaturę, kary, MTP, odciążenie GPU itp.).

4. Dotknij Zapisz konfigurację, a następnie ZAPISZ I ZAMKNIJ, aby załadować model.

5. Opcjonalnie utwórz kopię zapasową profilu w celu późniejszego przywrócenia.