LLM AI Server with llama.cpp

クラウド不要でAI使い放題。AndroidスマホをAIサーバにしましょう。

機能が充実したLLMをローカルで、プライベートに、そして課金なしで使えます。

シンプルなUIで、1台のAndroidがあなた専用のAIバックエンドとなり、同じネットワーク内のPC・タブレット・他のスマホからもアクセスできます。

---

1. 概要

LLM AI Server with llama.cpp は、Android上で完全ローカルに動作するLLMサーバです。

テキスト生成からマルチモーダル推論まで、すべてをオフラインで安全に実行できます。

対応モデルファミリーは Gemma-4 / Gemma-4 Vision、Qwen / Qwen Vision、Mistral、LLaMA、Phi、Bonsai など。

内蔵の API サーバは Ollama 互換・OpenAI 互換・Anthropic (Claude) Messages 互換・Google Gemini 互換 — チャット、補完、生成、埋め込み、トークナイズ、モデル一覧などのエンドポイントを提供します。

同一ポートで動作する WebUI では、モデル切替、パラメータ編集、ログ閲覧、PWAインストールが可能です。

MCP や Function Calling によりツール連携・構造化出力に対応しています。

---

2. 想定ユーザと対応デバイス

このアプリは「ローカルで完結するAI環境」を求めるユーザ向けです。

- オフラインで使いたいユーザ

- ローカルバックエンドを組み込みたい開発者

- 詳細なサンプリング調整を行いたい上級ユーザ

- 推論挙動を検証したい研究者

- プライバシーを重視するユーザ

性能はコンテキストサイズ、スレッド数、バッチサイズ、GPUオフロード、KVキャッシュ量子化、MTP推論などで柔軟に調整できます。

---

3. 主な機能

- Hugging Face からの GGUF 検索・ダウンロード（端末別適合度・ワンタップ mmproj DL）

- Qwen3-VL ビジョンモデル（既定同梱）、大きな画像でn_ctx自動拡張、GPU→CPU自動フォールバック

- ローカルGGUFインポート・モデル名称変更/削除・LoRAアダプタ（ランタイム適用・設定画面で管理）

- MTP推論（対応モデル）、詳細パラメータ制御（Mirostat・DRY・XTC・Min-p・Typical-p・各種ペナルティ・動的温度）

- llama.cpp エンジン更新（b10621, v0.3.0）— 新モデル対応・Adreno OpenCL GPU

- Ollama API: /api/chat, /api/generate, /api/ps, /api/show, /api/delete, /api/embed(dings), /api/tokenize, /api/tags; keep_alive（アンロード/プリロード/期間文字列）

- OpenAI API: /v1/chat/completions, /v1/completions, /v1/responses, /v1/embeddings, /v1/models

- Anthropic (Claude) API: /v1/messages（streaming・thinking・画像/音声・tool_use）、/v1/messages/count_tokens、GET /v1/models; ドキュメント/PDFブロック対応; anthropic-betaヘッダでThinking有効化

- Google Gemini API: generateContent/streamGenerateContent; GET /v1beta/models（一覧/単体）; countTokens; embedContent/batchEmbedContents; JSONモード（responseMimeType）; thinkingBudget

- Swagger UI（/swagger）: インタラクティブなOpenAPI 3.0ドキュメント — 設定の「Open API Docs」ボタンで開く

- 設定画面の接続確認パネル: 各インターフェース（LAN・キャリア等）の到達可能URLをプローブして表示

- GET /api/diagnostics によるデバイスログ取得、LLM AI Server Guide を同梱プロファイルとして内蔵

- 多言語WebUI（9言語）、PWAサポート、MCP / Function Calling

- プロファイルのバックアップ／復元、自動プロンプトテンプレート選択

API詳細・利用例・インタラクティブテスターはこちら：https://micklab.web.app/llama-tester-en.html

---

4. 使い始めるには

アプリはすぐに使い始められます。

A) Start API/WebUI → Open in browser（推奨）

1. メイン画面で Start API/WebUI をタップ。

2. Open in browser をタップして WebUI を開く。

3. WebUI からそのままチャットや推論が可能。

- 注意: 初回はモデルが未ダウンロードの場合、最初のメッセージ送信時にダウンロードします。

B) Direct Run（アプリ内で即実行）

1. メイン画面の Direct Run を開く。

2. プロンプトを入力して Send をタップ。

C) Settings からモデルを準備する方法

1. Settings を開く。

2. Hugging Face でモデル検索 または URL入力 または ローカルGGUFのインポート。

3. コンテキストサイズ、温度、ペナルティ、MTP、GPUオフロードなどを調整。

4. Save Config → SAVE & CLOSE でモデルを読み込み。

5. 必要に応じてプロファイルバックアップを作成。