LLM AI Server with llama.cpp

AI ไร้ขีดจำกัด ไม่ต้องพึ่งคลาวด์ โทรศัพท์ของคุณคือเซิร์ฟเวอร์

ใช้งาน LLM ที่ทรงพลังได้แบบส่วนตัวและฟรี — ด้วย UI ที่ใช้งานง่ายสำหรับทุกคน

อุปกรณ์ Android เพียงเครื่องเดียวจะกลายเป็นแบ็กเอนด์ AI ส่วนตัวของคุณ สามารถเข้าถึงได้จากพีซี แท็บเล็ต และอุปกรณ์อื่นๆ บนเครือข่ายเดียวกัน

---

1. ภาพรวม

LLM AI Server พร้อม llama.cpp เป็นเซิร์ฟเวอร์ LLM แบบโลคอลสำหรับ Android อย่างสมบูรณ์ ช่วยให้สามารถสร้างข้อความและมัลติโมดอลแบบส่วนตัวและออฟไลน์ได้

ตระกูลโมเดลที่รองรับ: Gemma-4 / Gemma-4 Vision, Qwen / Qwen Vision, Mistral, LLaMA, Phi, Bonsai และอื่นๆ

เซิร์ฟเวอร์ API ในตัวเข้ากันได้กับ Ollama, OpenAI, Anthropic (Claude) Messages และ Google Gemini API — ให้บริการแชท การเติมข้อความอัตโนมัติ การสร้าง การฝัง การแยกโทเค็น/การนับโทเค็น และการแสดงรายการโมเดล

WebUI ที่รวมมาด้วยทำงานบนพอร์ตเดียวกันและรองรับการสลับโมเดล การแก้ไขพารามิเตอร์ การดูบันทึก และการติดตั้ง PWA

MCP และการเรียกฟังก์ชันช่วยให้เวิร์กโฟลว์มีประสิทธิภาพมากขึ้นด้วยเครื่องมือต่างๆ การส่งออกข้อมูลแบบมีโครงสร้างผ่าน GBNF และ JSON Schema

---

2. กลุ่มเป้าหมายและอุปกรณ์ที่รองรับ

ออกแบบมาสำหรับผู้ใช้ที่ต้องการสภาพแวดล้อม LLM ส่วนตัวแบบโลคอลอย่างสมบูรณ์:

- ผู้ใช้ที่เน้นการใช้งานแบบออฟไลน์เป็นหลัก

- นักพัฒนาที่ผสานรวมแบ็กเอนด์แบบโลคอล

- ผู้ใช้ขั้นสูงที่ปรับแต่งการสุ่มตัวอย่างและประสิทธิภาพ

- นักวิจัยที่ทดสอบพฤติกรรมการอนุมาน

- ผู้ใช้ที่เน้นความเป็นส่วนตัว

สามารถปรับแต่งประสิทธิภาพได้ผ่านขนาดบริบท เธรด ขนาดแบทช์ การถ่ายโอน GPU การควอนไทเซชันแคช KV และการถอดรหัส MTP ที่เป็นตัวเลือก

---

3. คุณสมบัติหลัก

- การค้นหาและดาวน์โหลด Hugging Face GGUF; คำแนะนำเกี่ยวกับความเหมาะสมของอุปกรณ์ การดาวน์โหลด mmproj เพียงแตะครั้งเดียว

- Qwen3-VL vision (ค่าเริ่มต้นที่รวมมาด้วย); การขยาย n_ctx อัตโนมัติสำหรับภาพขนาดใหญ่; การเปลี่ยนจาก GPU เป็น CPU อัตโนมัติ

- การนำเข้า GGUF แบบโลคอล; การเปลี่ยนชื่อ/ลบโมเดล; รองรับอะแดปเตอร์ LoRA (ใช้งานขณะรันไทม์ จัดการได้จากการตั้งค่า)

- การถอดรหัสแบบคาดการณ์ล่วงหน้า MTP; พารามิเตอร์โดยละเอียด (Mirostat, DRY, XTC, Min-p, Typical-p, penalties, dynatemp)

- เอ็นจิ้น llama.cpp ที่ได้รับการอัปเกรด (b10621, v0.3.0) — รุ่นใหม่กว่า, GPU Adreno OpenCL

- API ของ Ollama: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive (ยกเลิกการโหลด / โหลดล่วงหน้า / สตริงระยะเวลา)

- API ของ OpenAI: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- API ของ Anthropic (Claude): /v1/messages (การสตรีม, การคิด, รูปภาพ/เสียง, การใช้งานเครื่องมือ), /v1/messages/count_tokens, GET /v1/models; บล็อกเนื้อหาเอกสาร/PDF; การคิดผ่านส่วนหัว anthropic-beta

- API ของ Google Gemini: generateContent/streamGenerateContent; GET /v1beta/models (รายการ/รายการเดียว); countTokens; embedContent/batchEmbedContents; โหมด JSON (responseMimeType); thinkingBudget

- Swagger UI ที่ /swagger: เอกสาร OpenAPI 3.0 แบบโต้ตอบ เปิดได้จาก การตั้งค่า → "เอกสาร Open API"

- แผงตรวจสอบการเชื่อมต่อใน การตั้งค่า: ตรวจสอบอินเทอร์เฟซทั้งหมดและแสดง URL ที่เข้าถึงได้ (LAN, ผู้ให้บริการ ฯลฯ)

- โปรไฟล์คู่มือเซิร์ฟเวอร์ LLM AI ที่รวมมาด้วย; การดึงบันทึกบนอุปกรณ์ผ่าน GET /api/diagnostics

- WebUI หลายภาษา (9 ภาษา), รองรับ PWA; MCP และการเรียกฟังก์ชัน

- การสำรองและกู้คืนโปรไฟล์; การเลือกเทมเพลตพร้อมท์อัตโนมัติ

เอกสาร API ฉบับเต็ม ตัวอย่าง และตัวทดสอบแบบโต้ตอบ:

https://micklab.web.app/llama-tester-en.html

---

4. การเริ่มต้นใช้งาน

A) เริ่ม API/WebUI → เปิดในเบราว์เซอร์

1. แตะ เริ่ม API/WebUI บนหน้าจอหลัก

2. แตะ เปิดในเบราว์เซอร์ เพื่อเปิด WebUI ที่รวมมาด้วย

3. แชทและเรียกใช้โมเดลได้โดยตรงจาก WebUI

- หมายเหตุ: ในการใช้งานครั้งแรก หากยังไม่ได้ดาวน์โหลดโมเดล WebUI จะดาวน์โหลดให้เมื่อคุณส่งข้อความแรก

B) เรียกใช้งานโดยตรง

1. เปิดส่วน "เรียกใช้งานโดยตรง" บนหน้าจอหลัก

2. ป้อนข้อความแจ้งเตือนแล้วแตะ "ส่ง" เพื่อเรียกใช้งานโมเดลโดยตรงภายในแอป

C) หรือใช้การตั้งค่าเพื่อเตรียมโมเดลก่อน

1. เปิดการตั้งค่า

2. ค้นหา "Hugging Face" สำหรับโมเดล GGUF ป้อน URL โดยตรง หรือนำเข้าไฟล์ GGUF ในเครื่อง

3. ปรับพารามิเตอร์ (ขนาดบริบท อุณหภูมิ ค่าปรับ MTP การถ่ายโอน GPU ฯลฯ)

4. แตะ "บันทึกการตั้งค่า" จากนั้น "บันทึกและปิด" เพื่อโหลดโมเดล

5. คุณสามารถสร้างสำเนาสำรองโปรไฟล์เพื่อกู้คืนในภายหลังได้ (ไม่บังคับ)