LLM AI Server with llama.cpp

هوش مصنوعی نامحدود، بدون فضای ابری. گوشی شما سرور است.

LLM های قدرتمند را به صورت محلی، خصوصی و آزادانه اجرا کنید - با یک رابط کاربری سبک که هر کسی می‌تواند از آن استفاده کند.

یک دستگاه اندروید به بک‌اند هوش مصنوعی شخصی شما تبدیل می‌شود که از رایانه‌های شخصی، تبلت‌ها و سایر دستگاه‌های موجود در همان شبکه قابل دسترسی است.

--

1. بررسی اجمالی

سرور هوش مصنوعی LLM با llama.cpp یک سرور LLM کاملاً محلی برای اندروید است که امکان تولید متن خصوصی، آفلاین و چندوجهی را فراهم می‌کند.

خانواده‌های مدل پشتیبانی شده: Gemma-4 / Gemma-4 Vision، Qwen / Qwen Vision، Mistral، LLaMA، Phi، Bonsai و موارد دیگر.

یک سرور API داخلی با Ollama، OpenAI، Anthropic (Claude) Messages و Google Gemini API سازگار است - نقاط پایانی چت، تکمیل، تولید، جاسازی، توکنیزه کردن/شمارش توکن و فهرست مدل را ارائه می‌دهد.

WebUI همراه با آن روی همان پورت اجرا می‌شود و از تعویض مدل، ویرایش پارامتر، مشاهده گزارش و نصب PWA پشتیبانی می‌کند.

MCP و فراخوانی تابع، گردش‌های کاری تقویت‌شده با ابزار را فعال می‌کنند؛ خروجی ساختاریافته از طریق GBNF و JSON Schema.

---

2. کاربران مورد نظر و دستگاه‌های پشتیبانی‌شده

طراحی‌شده برای کاربرانی که یک محیط LLM خصوصی و کاملاً محلی می‌خواهند:

- کاربران آفلاین

- توسعه‌دهندگانی که یک backend محلی را ادغام می‌کنند

- کاربران پیشرفته نمونه‌برداری و عملکرد را تنظیم می‌کنند

- محققان رفتار استنتاج را آزمایش می‌کنند

- کاربران متمرکز بر حریم خصوصی

عملکرد قابل تنظیم از طریق اندازه زمینه، نخ‌ها، اندازه دسته، تخلیه GPU، کوانتیزاسیون حافظه نهان KV و رمزگشایی اختیاری MTP.

---

3. ویژگی‌های کلیدی

- جستجو و دانلود GGUF با چهره در آغوش گرفته؛ راهنمای مناسب بودن دستگاه، دانلود mmproj با یک ضربه

- دید Qwen3-VL (پیش‌فرض همراه)؛ گسترش خودکار n_ctx برای تصاویر بزرگ؛ بازگشت خودکار GPU→CPU

- وارد کردن GGUF محلی؛ تغییر نام/حذف مدل؛ پشتیبانی از آداپتور LoRA (اعمال در زمان اجرا، مدیریت از تنظیمات)

- رمزگشایی احتمالی MTP؛ پارامترهای دقیق (Mirostat، DRY، XTC، Min-p، Typical-p، penaltys، dynatemp)

- موتور llama.cpp ارتقا یافته (b10621، نسخه 0.3.0) - مدل‌های جدیدتر، پردازنده گرافیکی Adreno OpenCL

- رابط برنامه‌نویسی کاربردی Ollama: /api/chat، /api/generate، /api/ps، /api/show، /api/delete، /api/embed(dings)، /api/tokenize، /api/tags؛ keep_alive (unload / preload / duration strings)

- API OpenAI: /v1/chat/completions، /v1/completions، /v1/responses، /v1/embeddings، /v1/models

- API آنتروپیک (کلود): /v1/messages (streaming، thinking، image/audio، tool_use)، /v1/messages/count_tokens، GET /v1/models؛ بلوک‌های محتوای سند/PDF؛ تفکر از طریق هدر آنتروپیک-بتا

- API گوگل جمینی: generateContent/streamGenerateContent؛ GET /v1beta/models (list/single)؛ countTokens؛ embedContent/batchEmbedContents؛ حالت JSON (responseMimeType)؛ thinkingBudget

- رابط کاربری Swagger در /swagger: اسناد تعاملی OpenAPI 3.0، از تنظیمات → "اسناد Open API" باز می‌شود.

- پنل بررسی اتصال در تنظیمات: تمام رابط‌ها را بررسی می‌کند و URLهای قابل دسترسی (LAN، اپراتور و غیره) را نشان می‌دهد.

- پروفایل راهنمای سرور هوش مصنوعی LLM همراه؛ بازیابی گزارش روی دستگاه از طریق GET /api/diagnostics

- رابط کاربری وب چندزبانه (9 زبان)، پشتیبانی از PWA؛ فراخوانی MCP و تابع

- پشتیبان‌گیری و بازیابی پروفایل؛ انتخاب خودکار قالب اعلان

اسناد کامل API، مثال‌ها و تستر تعاملی:

https://micklab.web.app/llama-tester-en.html

---

4. شروع به کار

الف) شروع API/WebUI → باز کردن در مرورگر

1. روی شروع API/WebUI در صفحه اصلی ضربه بزنید.

2. برای راه‌اندازی رابط کاربری وب همراه، روی باز کردن در مرورگر ضربه بزنید.

3. چت کنید و مدل را مستقیماً از رابط کاربری وب اجرا کنید.

- توجه: در اولین استفاده، اگر مدل دانلود نشده باشد، رابط کاربری وب هنگام ارسال اولین پیام آن را دانلود می‌کند.

ب) اجرای مستقیم

1. بخش اجرای مستقیم را در صفحه اصلی باز کنید.

2. یک اعلان وارد کنید و روی ارسال ضربه بزنید تا مدل مستقیماً درون برنامه اجرا شود.

ج) یا از تنظیمات برای آماده‌سازی اولیه یک مدل استفاده کنید.

1. تنظیمات را باز کنید.

2. مدل GGUF را در Hugging Face جستجو کنید، یک URL مستقیم وارد کنید یا یک فایل GGUF محلی را وارد کنید.

3. پارامترها (اندازه زمینه، دما، جریمه‌ها، MTP، تخلیه GPU و غیره) را تنظیم کنید.

4. برای بارگذاری مدل، روی ذخیره پیکربندی ضربه بزنید، سپس ذخیره و بستن را بزنید.

5. به صورت اختیاری یک نسخه پشتیبان از پروفایل برای بازیابی بعدی ایجاد کنید.