LLM Hoster

Android 스마트폰을 강력하고 안전한 개인 AI 서버로 바꿔보세요. 클라우드도, 구독료도, 기기에서 데이터가 유출될 염려도 없습니다.

LLM Hoster를 사용하면 llama.cpp 추론 엔진을 통해 대규모 언어 모델(LLM)을 스마트폰에서 직접 다운로드하고 실행할 수 있으며, 로컬 네트워크를 통해 완벽하게 호환되는 API를 제공합니다. Open WebUI, Continue.dev, Chatbox, LM Studio 또는 직접 만든 앱 등 baseAPI/v1API를 지원하는 모든 클라이언트와 함께 사용하세요.

━━━━━━━━━━━━━━━━━━━━

🔒 완벽한 개인 정보 보호

사용자 데이터는 절대 기기 밖으로 유출되지 않습니다. 추론에 인터넷 연결이 필요하지 않습니다. API 키도, 클라우드 비용도, 원격 측정 데이터도 없습니다. 스마트폰에서 발생하는 모든 작업은 스마트폰 내에서만 이루어집니다.

📥 원터치 모델 다운로드

Hugging Face에서 GGUF 모델을 한 번의 탭으로 찾아 다운로드하세요. "author/model_name-GGUF"와 같은 저장소 이름을 붙여넣기만 하면 앱이 자동으로 모바일에 최적화된 양자화 버전을 찾아 다운로드합니다.

🌐 /v1 호환 API

LAN에서 실제 REST API를 사용할 수 있습니다.

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/completions

노트북, 태블릿 또는 동일 네트워크에 연결된 모든 기기에서 접속할 수 있습니다.

💬 내장 채팅

앱 내에서 로드된 모델과 직접 채팅할 수 있습니다. 빠른 대화를 위해 외부 클라이언트가 필요하지 않습니다.

⚡ 성능 튜닝

기기에 맞게 추론을 세밀하게 조정하세요.

• CPU 코어 할당(2~8개 스레드)

• KV 캐시 양자화(q4_0, q8_0)

• 컨텍스트 윈도우 크기(2,000~16,000개 토큰)

• 배치 크기 제어

• GPU 레이어 오프로딩

• Flash Attention 지원

🔧 백그라운드 실행

포그라운드 서비스가 앱을 전환하더라도 서버를 계속 실행합니다. 알림 표시줄에서 언제든지 중지할 수 있습니다.

━━━━━━━━━━━━━━━━━━━━━

지원 모델

모든 GGUF 형식 모델에서 작동합니다. 추천 시작 모델:

• Llama 3.2 (1B / 3B)

• Phi-3 Mini

• Gemma 2 (2B)

• Qwen 2.5 (1.5B / 3B)

• Mistral 7B (Q4 양자화)

더 작은 양자화 모델(Q4_K_M, Q4_0)은 스마트폰에서 최적의 성능을 발휘합니다. 모델은 로컬에 저장되며 세션 간에 유지됩니다.

━━━━━━━━━━━━━━━━━━━━━

활용 사례

• 클라우드 의존성이 없는 개인 AI 비서

• LLM 기반 앱 개발 및 테스트

• 연결이 제한적인 지역에서의 오프라인 AI

• 오픈 소스 모델 학습 및 실험

• 홈 네트워크에서 여러 기기에 AI 서비스 제공

━━━━━━━━━━━━━━━━━━━━

광고 없음. 추적 없음. 계정 필요 없음. 스마트폰에서 AI를 경험하세요.

LLM Hoster를 다운로드하고 지금 바로 나만의 AI 서버를 호스팅해 보세요.