LLM Hoster

Androidスマートフォンを強力なプライベートAIサーバーに変えましょう。クラウドもサブスクリプションも不要、データもデバイスから一切送信されません。

LLM Hosterを使えば、llama.cpp推論エンジンを使用して、大規模言語モデル（LLM）をスマートフォン上で直接ダウンロードして実行できます。また、ローカルネットワーク経由で完全互換のAPIを提供します。baseAPI/v1APIをサポートするクライアントであれば、Open WebUI、Continue.dev、Chatbox、LM Studio、または独自のアプリなど、どれでも使用できます。

━━━━━━━━━━━━━━━━━━━━

🔒 完全プライベート

データはデバイスから一切送信されません。推論にインターネット接続は不要です。APIキーもクラウド料金もテレメトリも不要です。スマートフォン上で行われる処理はすべてスマートフォン内で完結します。

📥 ワンタップでモデルをダウンロード

Hugging FaceのGGUFモデルをワンタップで閲覧・ダウンロードできます。 「author/model_name-GGUF」のようなリポジトリ名を貼り付けるだけで、アプリがモバイル向けに最適化された最適なバージョンを自動的に検索してダウンロードします。

🌐 /v1-COMPATIBLE API

LAN上で本格的なREST APIを公開：

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

ノートパソコン、タブレット、または同一ネットワーク上のあらゆるデバイスから接続できます。

💬 内蔵チャット

アプリ内で読み込んだモデルと直接チャットできます。簡単な会話のために外部クライアントは必要ありません。

⚡ パフォーマンスチューニング

デバイスに合わせて推論を微調整：

• CPUコア割り当て（2～8スレッド）

• KVキャッシュ量子化（q4_0、q8_0）

• コンテキストウィンドウサイズ（2K～16Kトークン）

• バッチサイズ制御

• GPUレイヤーオフロード

• フラッシュアテンション対応

🔧 バックグラウンドで実行

フォアグラウンドサービスにより、アプリを切り替えてもサーバーは稼働し続けます。通知シェードからいつでも停止できます。

━━━━━━━━━━━━━━━━━━━━

対応機種

GGUF形式のすべてのモデルに対応しています。推奨開始ポイント：

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4量子化)

より小さな量子化モデル（Q4_K_M、Q4_0）はスマートフォンで最適に動作します。モデルはローカルに保存され、セッション間で保持されます。

━━━━━━━━━━━━━━━━━━━━

ユースケース

• クラウドに依存しないプライベートAIアシスタント

• LLM搭載アプリの開発とテスト

• 接続が制限されたエリアでのオフラインAI

• オープンソースモデルの学習と実験

• ホームネットワーク上の複数のデバイスへのAI配信

━━━━━━━━━━━━━━━━━━━━

広告なし。トラッキングなし。アカウント不要。スマートフォンでAIを利用できます。

LLM Hosterをダウンロードして、今すぐ独自のプライベートAIサーバーのホスティングを始めましょう。