LLM Hoster

اپنے اینڈرائیڈ فون کو ایک طاقتور، نجی AI سرور میں تبدیل کریں — کوئی کلاؤڈ، کوئی سبسکرپشن، کوئی ڈیٹا آپ کے آلے کو چھوڑ کر۔

LLM Hoster آپ کو llama.cpp انفرنس انجن کا استعمال کرتے ہوئے بڑے لینگویج ماڈلز (LLMs) کو براہ راست اپنے فون پر ڈاؤن لوڈ اور چلانے دیتا ہے، اور آپ کے مقامی نیٹ ورک پر ایک مکمل مطابقت پذیر API کو ظاہر کرتا ہے۔ اسے کسی بھی کلائنٹ کے ساتھ استعمال کریں جو baseAPI/v1API کو سپورٹ کرتا ہو — WebUI، Continue.dev، Chatbox، LM Studio، یا آپ کی اپنی ایپس کھولیں۔

━━━━━━━━━━━━━━━━━━━━

🔒 مکمل طور پر پرائیویٹ

آپ کا ڈیٹا آپ کے آلے کو کبھی نہیں چھوڑتا ہے۔ اندازہ لگانے کے لیے انٹرنیٹ کی ضرورت نہیں ہے۔ کوئی API کیز نہیں، کوئی کلاؤڈ لاگت نہیں، کوئی ٹیلی میٹری نہیں۔ جو کچھ آپ کے فون پر ہوتا ہے وہ آپ کے فون پر رہتا ہے۔

📥 ون ٹیپ ماڈل ڈاؤن لوڈز

ایک ہی نل کے ساتھ ہیگنگ فیس سے GGUF ماڈلز براؤز اور ڈاؤن لوڈ کریں۔ بس ایک ریپو نام پیسٹ کریں جیسا کہ "author/model_name-GGUF" — ایپ خود بخود موبائل کے لیے بہترین کوانٹائزڈ ورژن تلاش اور ڈاؤن لوڈ کر لیتی ہے۔

🌐 /v1-ہم آہنگ API

اپنے LAN پر ایک حقیقی REST API کو بے نقاب کریں:

• /v1/ماڈلز حاصل کریں۔

• POST /v1/chat/completions

• پوسٹ /v1/کمپلیشنز

اپنے لیپ ٹاپ، ٹیبلیٹ، یا اسی نیٹ ورک پر کسی بھی ڈیوائس سے جڑیں۔

💬 بلٹ ان چیٹ

اپنے بھری ہوئی ماڈل کے ساتھ براہ راست ایپ کے اندر چیٹ کریں۔ فوری بات چیت کے لیے کسی بیرونی کلائنٹ کی ضرورت نہیں ہے۔

⚡ پرفارمنس ٹیوننگ

آپ کے آلے کے لیے فائن ٹیون کا اندازہ:

• CPU کور ایلوکیشن (2–8 تھریڈز)

• KV کیشے کوانٹائزیشن (q4_0, q8_0)

• سیاق و سباق کی کھڑکی کا سائز (2K–16K ٹوکن)

• بیچ سائز کنٹرول

• GPU پرت آف لوڈنگ

• فلیش توجہ کی حمایت

🔧 پس منظر میں چلتا ہے۔

ایک پیش منظر کی خدمت سرور کو زندہ رکھتی ہے یہاں تک کہ جب آپ ایپس کو سوئچ کرتے ہیں۔ اسے کسی بھی وقت نوٹیفکیشن شیڈ سے روکیں۔

━━━━━━━━━━━━━━━━━━━━

تائید شدہ ماڈلز

کسی بھی GGUF فارمیٹ ماڈل کے ساتھ کام کرتا ہے۔ تجویز کردہ نقطہ آغاز:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

Mistral 7B (Q4 کوانٹائزڈ)

چھوٹے کوانٹائزڈ ماڈلز (Q4_K_M, Q4_0) فون پر بہترین چلتے ہیں۔ ماڈلز مقامی طور پر محفوظ کیے جاتے ہیں اور سیشنوں میں برقرار رہتے ہیں۔

━━━━━━━━━━━━━━━━━━━━

کیسز استعمال کریں۔

• صفر کلاؤڈ انحصار کے ساتھ نجی AI معاون

• ایل ایل ایم سے چلنے والی ایپس کی ترقی اور جانچ

• محدود کنیکٹیویٹی والے علاقوں میں آف لائن AI

• اوپن سورس ماڈلز کے ساتھ سیکھنا اور تجربہ کرنا

• آپ کے گھر کے نیٹ ورک پر متعدد آلات پر AI پیش کرنا

━━━━━━━━━━━━━━━━━━━━

کوئی اشتہار نہیں۔ کوئی ٹریکنگ نہیں۔ کوئی اکاؤنٹس نہیں۔ آپ کے فون پر صرف AI۔

LLM Hoster ڈاؤن لوڈ کریں اور آج ہی اپنے ذاتی AI سرور کی میزبانی شروع کریں۔