LLM AI Server with llama.cpp

AI không giới hạn, không cần đám mây. Điện thoại của bạn là máy chủ.

Chạy các mô hình LLM mạnh mẽ cục bộ, riêng tư và miễn phí — với giao diện người dùng nhẹ mà bất kỳ ai cũng có thể sử dụng.

Một thiết bị Android trở thành máy chủ phụ trợ AI cá nhân của bạn, có thể truy cập từ PC, máy tính bảng và các thiết bị khác trên cùng mạng.

---

1. Tổng quan

Máy chủ AI LLM với llama.cpp là một máy chủ LLM hoàn toàn cục bộ dành cho Android, cho phép tạo văn bản và đa phương thức riêng tư, ngoại tuyến.

Các họ mô hình được hỗ trợ: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai và các họ khác.

Máy chủ API tích hợp tương thích với API của Ollama, OpenAI, Anthropic (Claude) Messages và Google Gemini — cung cấp các điểm cuối trò chuyện, tự động hoàn thành, tạo, nhúng, mã hóa/đếm mã thông báo và liệt kê mô hình.

Giao diện người dùng web đi kèm chạy trên cùng một cổng và hỗ trợ chuyển đổi mô hình, chỉnh sửa tham số, xem nhật ký và cài đặt PWA.

MCP và Gọi hàm cho phép quy trình làm việc được hỗ trợ bởi công cụ; đầu ra có cấu trúc thông qua GBNF và JSON Schema.

---

2. Đối tượng người dùng và thiết bị được hỗ trợ

Được thiết kế cho người dùng muốn có môi trường LLM riêng tư, hoàn toàn cục bộ:

- Người dùng ưu tiên ngoại tuyến

- Nhà phát triển tích hợp phụ trợ cục bộ

- Người dùng nâng cao tinh chỉnh lấy mẫu và hiệu suất

- Nhà nghiên cứu kiểm tra hành vi suy luận

- Người dùng tập trung vào quyền riêng tư

Hiệu suất có thể điều chỉnh thông qua kích thước ngữ cảnh, luồng, kích thước lô, tải GPU, lượng tử hóa bộ nhớ cache KV và giải mã MTP tùy chọn.

---

3. Các tính năng chính

- Tìm kiếm & tải xuống Hugging Face GGUF; hướng dẫn về tính phù hợp của thiết bị, tải xuống mmproj chỉ với một lần chạm

- Thị giác Qwen3-VL (mặc định đi kèm); mở rộng n_ctx tự động cho hình ảnh lớn; tự động chuyển đổi GPU→CPU

- Nhập GGUF cục bộ; đổi tên/xóa mô hình; hỗ trợ bộ chuyển đổi LoRA (áp dụng trong thời gian chạy, quản lý từ Cài đặt)

- Giải mã suy đoán MTP; Các tham số chi tiết (Mirostat, DRY, XTC, Min-p, Typical-p, penalties, dynatemp)

- Nâng cấp engine llama.cpp (b10621, v0.3.0) — các mô hình mới hơn, GPU Adreno OpenCL

- API Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (dỡ tải / tải trước / chuỗi thời lượng)

- API OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API Anthropic (Claude): /v1/messages (streaming, thinking, image/audio, tool_use), /v1/messages/count_tokens, GET /v1/models; khối nội dung tài liệu/PDF; Suy nghĩ thông qua tiêu đề anthropic-beta

- API Google Gemini: generateContent/streamGenerateContent; GET /v1beta/models (list/single); countTokens; embedContent/batchEmbedContents; chế độ JSON (responseMimeType); thinkingBudget

- Giao diện người dùng Swagger tại /swagger: tài liệu OpenAPI 3.0 tương tác, mở từ Cài đặt → "Tài liệu Open API"

- Bảng kiểm tra kết nối trong Cài đặt: dò tìm tất cả các giao diện và hiển thị các URL có thể truy cập (LAN, nhà mạng, v.v.)

- Hồ sơ Hướng dẫn Máy chủ LLM AI được tích hợp; truy xuất nhật ký trên thiết bị thông qua GET /api/diagnostics

- Giao diện WebUI đa ngôn ngữ (9 ngôn ngữ), hỗ trợ PWA; MCP và Gọi hàm

- Sao lưu và khôi phục hồ sơ; Lựa chọn mẫu lời nhắc tự động

Tài liệu API đầy đủ, ví dụ và trình kiểm tra tương tác:

https://micklab.web.app/llama-tester-en.html

---

4. Bắt đầu

A) Khởi động API/Giao diện Web → Mở trong trình duyệt

1. Chạm vào Khởi động API/Giao diện Web trên màn hình chính.

2. Chạm vào Mở trong trình duyệt để khởi chạy giao diện Web đi kèm.

3. Trò chuyện và chạy mô hình trực tiếp từ giao diện Web.

- Lưu ý: Khi sử dụng lần đầu, nếu mô hình chưa được tải xuống, giao diện Web sẽ tải xuống khi bạn gửi tin nhắn đầu tiên.

B) Chạy trực tiếp

1. Mở phần Chạy trực tiếp trên màn hình chính.

2. Nhập lời nhắc và chạm vào Gửi để chạy mô hình trực tiếp trong ứng dụng.

C) Hoặc Sử dụng Cài đặt để chuẩn bị mô hình trước

1. Mở Cài đặt.

2. Tìm kiếm Hugging Face cho mô hình GGUF, nhập URL trực tiếp hoặc nhập tệp GGUF cục bộ.

3. Điều chỉnh các tham số (kích thước ngữ cảnh, nhiệt độ, hình phạt, MTP, giảm tải GPU, v.v.).

4. Chạm vào Lưu cấu hình, sau đó chạm vào LƯU & ĐÓNG để tải mô hình.

5. Tùy chọn tạo bản sao lưu hồ sơ để khôi phục sau này.