LLM AI Server with llama.cpp

무제한 AI, 클라우드 제로. 당신의 스마트폰이 서버가 됩니다.

강력한 LLM을 로컬에서, 비공개로, 무료로 실행하세요. 누구나 쉽게 사용할 수 있는 가벼운 UI와 함께요.

안드로이드 기기 하나가 개인 AI 백엔드가 되어, 같은 네트워크에 있는 PC, 태블릿 등 다른 기기에서도 접속할 수 있습니다.

---

1. 개요

llama.cpp 기반 LLM AI Server는 안드로이드용 완전 로컬 LLM 서버로, 개인 정보가 보호되는 오프라인 환경에서 텍스트 및 멀티모달 생성을 가능하게 합니다.

지원 모델 패밀리: Gemma-4/Vision, Qwen/Vision, Mistral, LLaMA, Phi, Bonsai 등.

내장 API 서버는 Ollama, OpenAI, Anthropic (Claude) Messages, Google Gemini API와 호환됩니다.

동일 포트에서 실행되는 WebUI: 모델 전환, 매개변수 편집, 로그 확인, PWA 설치 지원.

MCP 및 함수 호출로 도구 활용 워크플로우 구현; GBNF/JSON Schema로 구조화된 출력 지원.

---

2. 대상 사용자

개인 정보가 보호되는 완전 로컬 LLM 환경을 원하는 사용자를 위해 설계되었습니다:

- 오프라인 환경을 주로 사용하는 사용자

- 로컬 백엔드를 통합하려는 개발자

- 샘플링 및 성능 튜닝에 관심 있는 고급 사용자

- 추론 동작을 테스트하는 연구자

- 개인 정보 보호를 중요하게 생각하는 사용자

컨텍스트 크기, 스레드, 배치 크기, GPU 오프로드, KV 캐시 양자화, MTP 디코딩 등으로 성능 최적화 가능.

---

3. 주요 기능

- Hugging Face GGUF 검색/다운로드; 기기 적합도 평가, mmproj 원터치 다운로드

- Qwen3-VL 비전 모델(기본 내장); 큰 이미지에서 n_ctx 자동 확장; GPU→CPU 자동 폴백

- 로컬 GGUF 가져오기; 이름 변경/삭제; LoRA 어댑터(런타임 적용, 설정에서 관리)

- MTP 추측 디코딩; 상세 매개변수(Mirostat, DRY, XTC, Min-p, Typical-p, 패널티, 동적 온도)

- 업그레이드된 엔진 llama.cpp b10621 (v0.3.0) — 최신 모델 및 Adreno OpenCL GPU

- Ollama API: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive

- OpenAI API: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- Anthropic (Claude) API: /v1/messages, /v1/messages/count_tokens, GET /v1/models; 문서/PDF 콘텐츠 블록; anthropic-beta 헤더로 Thinking 활성화

- Google Gemini API: generateContent/streamGenerateContent; GET /v1beta/models(목록/단일); countTokens; embedContent; JSON 모드(responseMimeType); thinkingBudget

- /swagger의 Swagger UI: 인터랙티브 OpenAPI 3.0 문서(설정 → 「Open API Docs」)

- 설정의 연결 확인 패널: 각 네트워크 인터페이스(LAN, 통신사 등)의 접근 가능 URL 표시

- GET /api/diagnostics로 기기 로그 가져오기; LLM AI Server Guide 프로파일 기본 내장

- 다국어 WebUI(9개 언어), PWA 지원; MCP 및 함수 호출

- 프로파일 백업/복원; 자동 프롬프트 템플릿 선택

API 상세 정보, 예제, 인터랙티브 테스터:

https://micklab.web.app/llama-tester-en.html

---

4. 시작 방법

A) API/WebUI 시작 → 브라우저에서 열기

1. 메인 화면에서 「API/WebUI 시작」을 탭합니다.

2. 「브라우저에서 열기」를 탭하여 내장 WebUI를 실행합니다.

3. WebUI에서 직접 채팅하며 모델을 실행할 수 있습니다.

- 참고: 처음 사용 시 모델이 다운로드되지 않은 경우, 첫 메시지를 보내면 WebUI가 자동으로 다운로드합니다.

B) 직접 실행

1. 메인 화면에서 「직접 실행」 섹션을 엽니다.

2. 프롬프트를 입력하고 「보내기」를 탭합니다.

C) 설정에서 모델 준비

1. 설정을 엽니다.

2. Hugging Face에서 검색하거나, URL을 직접 입력하거나, 로컬 GGUF 파일을 가져옵니다.

3. 매개변수(컨텍스트 크기, 온도, 패널티, MTP, GPU 오프로드 등)를 조정합니다.

4. 「구성 저장」 후 「저장 및 닫기」를 탭하여 모델을 로드합니다.

5. 필요시 나중에 복원할 수 있도록 프로파일 백업을 생성합니다.