LLM AI Server with llama.cpp

لامحدود AI، صفر کلاؤڈ۔ آپ کا فون سرور ہے۔

طاقتور LLMs کو مقامی طور پر، نجی طور پر اور آزادانہ طور پر چلائیں — ہلکے وزن والے UI کے ساتھ جو کوئی بھی استعمال کر سکتا ہے۔

ایک اینڈرائیڈ ڈیوائس آپ کا ذاتی AI بیک اینڈ بن جاتا ہے، جو اسی نیٹ ورک پر PCs، ٹیبلیٹس اور دیگر آلات سے قابل رسائی ہے۔

---

1. جائزہ

llama.cpp کے ساتھ LLM AI سرور Android کے لیے مکمل طور پر مقامی LLM سرور ہے، جو نجی، آف لائن ٹیکسٹ اور ملٹی موڈل جنریشن کو فعال کرتا ہے۔

معاون ماڈل فیملیز: Gemma-4 / Gemma-4 Vision، Qwen / Qwen Vision، Mistral، LLaMA، Phi، Bonsai، اور دیگر۔

ایک بلٹ ان API سرور Ollama، OpenAI، Anthropic (Claude) Messages، اور Google Gemini APIs کے ساتھ مطابقت رکھتا ہے — چیٹ، تکمیل، جنریشن، ایمبیڈنگ، ٹوکنائز/ٹوکن کاؤنٹ، اور ماڈل لسٹنگ اینڈ پوائنٹس فراہم کرتا ہے۔

بنڈل WebUI اسی پورٹ پر چلتا ہے اور ماڈل سوئچنگ، پیرامیٹر ایڈیٹنگ، لاگ ویونگ، اور PWA انسٹالیشن کو سپورٹ کرتا ہے۔

MCP اور فنکشن کالنگ ٹول سے بڑھے ہوئے ورک فلو کو فعال کرتی ہے۔ GBNF اور JSON سکیما کے ذریعے ساختی آؤٹ پٹ۔

---

2. مطلوبہ صارفین اور معاون آلات

ان صارفین کے لیے ڈیزائن کیا گیا جو نجی، مکمل طور پر مقامی LLM ماحول چاہتے ہیں:

- آف لائن پہلے صارفین

- مقامی پسدید کو مربوط کرنے والے ڈویلپرز

- اعلی درجے کے صارفین نمونے لینے اور کارکردگی کو دیکھتے ہیں۔

- محققین تخمینہ سلوک کی جانچ کر رہے ہیں۔

- رازداری پر مرکوز صارفین

سیاق و سباق کے سائز، دھاگوں، بیچ سائز، GPU آف لوڈ، KV کیشے کوانٹائزیشن، اور اختیاری MTP ضابطہ کشائی کے ذریعے کارکردگی ٹیون ایبل۔

---

3. کلیدی خصوصیات

- گلے لگانا چہرہ GGUF تلاش اور ڈاؤن لوڈ؛ ڈیوائس کے لیے موزوں رہنمائی، ایک ٹیپ ایم ایم پروج ڈاؤن لوڈ

- Qwen3-VL وژن (بنڈلڈ ڈیفالٹ)؛ بڑی تصاویر کے لیے خودکار n_ctx توسیع؛ GPU→CPU آٹو فال بیک

- مقامی GGUF درآمد؛ ماڈل کا نام تبدیل / حذف کریں؛ LoRA اڈاپٹر سپورٹ (رن ٹائم پر اپلائی کریں، سیٹنگز سے مینیج کریں)

- MTP قیاس آرائی پر مبنی ضابطہ کشائی؛ تفصیلی پیرامیٹرز (Mirostat, DRY, XTC, Min-p, Typical-p, Penalties, dynatemp)

- اپ گریڈ شدہ llama.cpp انجن (b10621, v0.3.0) - نئے ماڈلز، Adreno OpenCL GPU

- Ollama API: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags؛ Keep_alive (ان لوڈ / پری لوڈ / دورانیہ کے تار)

- OpenAI API: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- انتھروپک (کلاڈ) API: /v1/messages (سٹریمنگ، سوچ، تصویر/آڈیو، ٹول_استعمال)، /v1/messages/count_tokens، GET /v1/models؛ دستاویز/پی ڈی ایف مواد بلاکس؛ anthropic-beta ہیڈر کے ذریعے سوچنا

- Google Gemini API: generateContent/streamGenerateContent؛ حاصل کریں /v1beta/ماڈلز (فہرست/سنگل)؛ کاؤنٹ ٹوکن؛ embedContent/batchEmbedContents؛ JSON موڈ (responseMimeType)؛ سوچ بجٹ

- /swagger پر سویگر UI: انٹرایکٹو OpenAPI 3.0 دستاویزات، ترتیبات سے کھولیں → "اوپن API دستاویزات"

- ترتیبات میں کنکشن چیک پینل: تمام انٹرفیس کی جانچ پڑتال کرتا ہے اور قابل رسائی یو آر ایل دکھاتا ہے (LAN، کیریئر، وغیرہ)

- بنڈل LLM AI سرور گائیڈ پروفائل؛ GET /api/diagnostics کے ذریعے آن ڈیوائس لاگ کی بازیافت

- کثیر زبانی WebUI (9 زبانیں)، PWA سپورٹ؛ MCP اور فنکشن کالنگ

- پروفائل کا بیک اپ اور بحالی؛ خودکار پرامپٹ ٹیمپلیٹ کا انتخاب

مکمل API دستاویزات، مثالیں اور انٹرایکٹو ٹیسٹر:

https://micklab.web.app/llama-tester-en.html

---

4. شروع کرنا

A) اسٹارٹ API/WebUI → براؤزر میں کھولیں۔

1. مین اسکرین پر اسٹارٹ API/WebUI کو تھپتھپائیں۔

2. بنڈل WebUI لانچ کرنے کے لیے براؤزر میں کھولیں پر ٹیپ کریں۔

3. چیٹ کریں اور ماڈل کو براہ راست WebUI سے چلائیں۔

- نوٹ: پہلے استعمال پر، اگر ماڈل ڈاؤن لوڈ نہیں ہوا ہے، تو WebUI اسے ڈاؤن لوڈ کرے گا جب آپ پہلا پیغام بھیجیں گے۔

ب) براہ راست رن

1۔ مین اسکرین پر ڈائریکٹ رن سیکشن کھولیں۔

2۔ ایک پرامپٹ درج کریں اور ماڈل کو براہ راست ایپ کے اندر چلانے کے لیے بھیجیں کو تھپتھپائیں۔

C) یا پہلے ماڈل تیار کرنے کے لیے سیٹنگز کا استعمال کریں۔

1. ترتیبات کھولیں۔

2. GGUF ماڈل کے لیے Hugging Face تلاش کریں، براہ راست URL درج کریں، یا مقامی GGUF فائل درآمد کریں۔

3. پیرامیٹرز کو ایڈجسٹ کریں (سیاق و سباق کا سائز، درجہ حرارت، جرمانے، MTP، GPU آف لوڈ، وغیرہ)۔

4. ماڈل کو لوڈ کرنے کے لیے Save Config کو تھپتھپائیں، پھر محفوظ کریں اور بند کریں۔

5. بعد میں بحالی کے لیے اختیاری طور پر پروفائل کا بیک اپ بنائیں۔