GGUF Generator

Trainiere LLMs auf Android – Retrainable GGUF, LoRA & Quantisierung. Weltweit einzigartig.

Die weltweit einzige App, mit der du GGUF-Sprachmodelle komplett auf deinem Android-Gerät erstellen, trainieren, nachtrainieren, LoRA-anpassen und quantisieren kannst.

„Retrainable GGUF" bedeutet: Das exportierte Modell enthält den Trainingskorpus und den Adam-Zustand – jederzeit neu laden und nahtlos weitermachen.

Keine Cloud, kein Abo, keine Daten verlassen dein Gerät.

---

1. Überblick — Was ist ein Retrainable GGUF?

Eine normale GGUF-Datei ist nur zur Inferenz gedacht. GGUF Generator bettet den Trainingskorpus und den Adam-Zustand in jede exportierte GGUF ein.

Stell dir ein Lehrbuch vor, das sich jede Lektion merkt — bereit für die nächste.

Das ist ein weltweites Erstmals im llama.cpp-Ökosystem.

---

2. Hauptfunktionen

■ Interaktives Lernen (Neues GGUF)

Bringe einem kleinen LLM von Grund auf bei — Anweisung für Anweisung, Antwort für Antwort.

- Zweistufige Eingabe (Anweisung → Antwort): trainieren und Inferenz sofort prüfen

- Nochmal lernen: letztes Paar wiederholt verstärken

- Antwort lernen: letzte Modellantwort als Anweisung für Gesprächsfluss nutzen

- Batch-Paarimport (JSONL): Vokabularaufbau + vollständiges Neutraining

- Weiterlernen: Memorize EIN = bis alle Paare reproduziert; AUS = bis Ziel-Loss

- Training stoppen: BG-Training jederzeit anhalten; bisheriger Stand bleibt erhalten

- GGUF-Export: Modellname angeben; F32 / F16 / Q8_0 — direkt für llama.cpp oder Ollama

■ Interaktives Lernen (LoRA)

Chat-basiertes Training für einen LoRA-Adapter auf einem vorhandenen GGUF-Modell.

- Unterstützte Architekturen: LFM2 / Llama-3 / Gemma3 / Qwen3 (unter 1B empfohlen)

- Adapter-GGUF enthält Trainingspaare + Adam-Zustand → neu laden und sofort weiter

- Modellname beim Export; BG-Training unterbrechen

■ Paar-Editor & Generierung (Automatische Trainingsdaten)

Nutze einen externen LLM-Server, um Trainingspaare zu generieren und zu bearbeiten.

- F&A-Paare aus Web-URLs, Wikipedia oder freiem Themenprompt generieren

- Paare übersetzen, umformulieren oder ableiten

- Übersetzungserweiterung und Paraphrasenverstärkung für mehrsprachige Daten

■ Quantisierungskonvertierung

Konvertiere GGUF-Dateien in einen anderen Quantisierungstyp direkt auf dem Gerät.

- Unterstützt: F32 / F16 / Q8_0 / Q6_K / Q5_K_M / Q5_1 / Q5_0 / Q4_K_M / Q4_1 / Q4_0 / Q3_K_M / Q2_K

■ Dunkelmodus

Auto / Hell / Dunkel in den Einstellungen umschalten. Auto folgt dem Systemdesign.

---

3. Für wen ist das?

- Alle, die ein personalisiertes kleines Assistenzmodell auf dem Smartphone trainieren wollen

- Entwickler und Forscher, die domänenspezifische LLMs erstellen

- Nutzer, die via LoRA eigenes Wissen in ein vorhandenes Modell einbetten möchten

- Datenschutzbewusste Nutzer — Daten verlassen niemals das Gerät

- Studierende, die Machine Learning praktisch erkunden

---

4. Erste Schritte

A) Modell von Grund auf aufbauen

1. „Interaktiv (Neues GGUF)" → „Neu" tippen

2. Anweisung → „Neu lernen" → Antwort → „Neu lernen"

3. „GGUF exportieren" → Modellname eingeben und speichern

B) Vorhandenes Modell per LoRA anpassen

1. „Interaktiv (LoRA)" → „Modell laden" für Basis-GGUF

2. Gleiche zweistufige Eingabe; „Adapter exportieren" → Name eingeben und speichern.

C) Paare automatisch generieren → Batch-Training

1. „Paar-Editor & -Gen" → Paare aus URL, Wikipedia oder Thema generieren

2. Als JSONL speichern → „Interaktiv" → „Paare importieren"

LLM-Server (für Paargenerierung erforderlich):

Ollama-kompatiblen Server unter Einstellungen → Server-URL eintragen.