Giới thiệu về LLM Hoster
Chạy các mô hình AI cục bộ trên điện thoại của bạn và phục vụ qua mạng LAN.
Biến điện thoại Android của bạn thành một máy chủ AI mạnh mẽ, riêng tư — không cần đám mây, không cần đăng ký, không dữ liệu rời khỏi thiết bị của bạn.
LLM Hoster cho phép bạn tải xuống và chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trên điện thoại bằng công cụ suy luận llama.cpp, và cung cấp API hoàn toàn tương thích trên mạng cục bộ của bạn. Sử dụng nó với bất kỳ ứng dụng khách nào hỗ trợ baseAPI/v1API — Open WebUI, Continue.dev, Chatbox, LM Studio hoặc ứng dụng của riêng bạn.
━━━━━━━━━━━━━━━━━━━━
🔒 HOÀN TOÀN RIÊNG TƯ
Dữ liệu của bạn không bao giờ rời khỏi thiết bị. Không cần internet để suy luận. Không cần khóa API, không tốn chi phí đám mây, không có dữ liệu đo từ xa. Những gì xảy ra trên điện thoại của bạn sẽ chỉ ở trên điện thoại của bạn.
📥 TẢI XUỐNG MÔ HÌNH CHỈ VỚI MỘT LẦN CHẠM
Duyệt và tải xuống các mô hình GGUF từ Hugging Face chỉ với một lần chạm. Chỉ cần dán tên kho lưu trữ như "author/model_name-GGUF" — ứng dụng sẽ tự động tìm và tải xuống phiên bản được lượng tử hóa tốt nhất cho thiết bị di động.
🌐 API TƯƠNG THÍCH VỚI /v1
Cung cấp API REST thực sự trên mạng LAN của bạn:
• GET /v1/models
• POST /v1/chat/completions
• POST /v1/completions
Kết nối từ máy tính xách tay, máy tính bảng hoặc bất kỳ thiết bị nào trên cùng mạng.
💬 CHAT TÍCH HỢP SẴN
Trò chuyện với mô hình đã tải trực tiếp trong ứng dụng. Không cần ứng dụng khách bên ngoài để trò chuyện nhanh chóng.
⚡ TINH CHỈNH HIỆU NĂNG
Tinh chỉnh suy luận cho thiết bị của bạn:
• Phân bổ lõi CPU (2–8 luồng)
• Lượng tử hóa bộ nhớ cache KV (q4_0, q8_0)
• Kích thước cửa sổ ngữ cảnh (2K–16K token)
• Kiểm soát kích thước lô
• Giảm tải lớp GPU
• Hỗ trợ Flash Attention
🔧 CHẠY NGẦM
Một dịch vụ chạy ngầm giữ cho máy chủ hoạt động ngay cả khi bạn chuyển đổi ứng dụng. Dừng dịch vụ bất cứ lúc nào từ thanh thông báo.
━━━━━━━━━━━━━━━━━━━━
CÁC MẪU ĐƯỢC HỖ TRỢ
Hoạt động với bất kỳ mẫu nào định dạng GGUF. Các mô hình được đề xuất để bắt đầu:
• Llama 3.2 (1B / 3B)
• Phi-3 Mini
• Gemma 2 (2B)
• Qwen 2.5 (1.5B / 3B)
• Mistral 7B (lượng tử hóa Q4)
Các mô hình lượng tử hóa nhỏ hơn (Q4_K_M, Q4_0) hoạt động tốt nhất trên điện thoại. Các mô hình được lưu trữ cục bộ và duy trì xuyên suốt các phiên.
━━━━━━━━━━━━━━━━━━━━
CÁC TRƯỜNG HỢP SỬ DỤNG
• Trợ lý AI cá nhân không phụ thuộc vào điện toán đám mây
• Phát triển và thử nghiệm các ứng dụng được hỗ trợ bởi LLM
• AI ngoại tuyến ở những khu vực có kết nối hạn chế
• Học hỏi và thử nghiệm các mô hình mã nguồn mở
• Cung cấp AI cho nhiều thiết bị trên mạng gia đình của bạn
━━━━━━━━━━━━━━━━━━━━
Không quảng cáo. Không theo dõi. Không cần tài khoản. Chỉ có AI trên điện thoại của bạn.
Tải xuống LLM Hoster và bắt đầu lưu trữ máy chủ AI riêng của bạn ngay hôm nay.
What's new in the latest 1.6
• Stability improvements and general UI cleanup.
Thông tin APK LLM Hoster
Phiên bản cũ của LLM Hoster
Tải xuống siêu nhanh và an toàn thông qua Ứng dụng APKPure
Một cú nhấp chuột để cài đặt các tệp XAPK/APK trên Android!







