Text Generation WebUI

Führe text-generation-webui für LLM-Inferenz auf Clore.ai-GPUs aus

Betreibe die beliebteste LLM-Oberfläche mit Unterstützung für alle Modellformate.

Alle Beispiele können auf GPU-Servern ausgeführt werden, die gemietet wurden über CLORE.AI-Marktplatz.

Mieten auf CLORE.AI

1. Besuchen CLORE.AI-Marktplatz

2. Filtern nach GPU-Typ, VRAM und Preis

3. Wähle On-Demand (Festpreis) oder Spot (Gebotspreis)

4. Konfiguriere deine Bestellung:

   • Docker-Image auswählen

   • Ports festlegen (TCP für SSH, HTTP für Web-UIs)

   • Bei Bedarf Umgebungsvariablen hinzufügen

   • Startbefehl eingeben

5. Zahlung auswählen: CLORE, BTC, oder USDT/USDC

6. Bestellung erstellen und auf die Bereitstellung warten

Greife auf deinen Server zu

• Verbindungsdetails finden in Meine Bestellungen

• Web-Oberflächen: Verwende die HTTP-Port-URL

• SSH: ssh -p <port> root@<proxy-address>

Warum Text Generation WebUI?

• Unterstützt GGUF-, GPTQ-, AWQ-, EXL2- und HF-Formate

• Integrierte Chat-, Notebook- und API-Modi

• Erweiterungen: Sprache, Charaktere, multimodal

• Unterstützung für Feinabstimmung

• Modellwechsel im laufenden Betrieb

Anforderungen

Modellgröße	Min. VRAM	Empfohlen
7B (Q4)	6 GB	RTX 3060
13B (Q4)	10 GB	RTX 3080
30B (Q4)	20 GB	RTX 4090
70B (Q4)	40 GB	A100

Schnell bereitstellen

Docker-Image:

atinoda/text-generation-webui:default-nvidia

Ports:

22/tcp
7860/http
5000/http
5005/http

Umgebung:

EXTRA_LAUNCH_ARGS=--listen --api

Manuelle Installation

Image:

nvidia/cuda:12.8.1-devel-ubuntu22.04

Ports:

22/tcp
7860/http
5000/http

Befehl:

apt-get update && apt-get install -y git python3 python3-pip && \
cd /workspace && \
git clone https://github.com/oobabooga/text-generation-webui.git && \
cd text-generation-webui && \
pip install -r requirements.txt && \
python server.py --listen --api

Auf deinen Dienst zugreifen

Nach der Bereitstellung findest du deine http_pub URL in Meine Bestellungen:

1. Gehe zu Meine Bestellungen Seite

2. Klicke auf deine Bestellung

3. Finde die http_pub URL (z. B. abc123.clorecloud.net)

Verwende https://YOUR_HTTP_PUB_URL anstelle von localhost in den folgenden Beispielen.

WebUI aufrufen

1. Auf die Bereitstellung warten

2. Finde die Port-7860-Zuordnung in Meine Bestellungen

3. Öffnen: http://<proxy>:<port>

Modelle herunterladen

Von HuggingFace (in WebUI)

1. Gehe zu Modell Tab

2. Modellnamen eingeben: bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

3. Klicken Sie auf Herunterladen

Über die Befehlszeile

cd /workspace/text-generation-webui

# GGUF-Modell herunterladen
python download-model.py bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

# Spezifische Datei herunterladen
python download-model.py bartowski/Meta-Llama-3.1-8B-Instruct-GGUF --specific-file Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf

Empfohlene Modelle

Für den Chat:

# Llama 2 Chat (7B, schnell)
python download-model.py bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

# Mistral Instruct (hervorragend)
python download-model.py bartowski/Mistral-7B-Instruct-v0.3-GGUF

# OpenHermes (großartiger Allrounder)
python download-model.py bartowski/OpenHermes-2.5-Mistral-7B-GGUF

Für das Coding:

# CodeLlama
python download-model.py bartowski/CodeLlama-13B-Instruct-GGUF

# DeepSeek Coder
python download-model.py bartowski/DeepSeek-Coder-V2-Lite-Instruct-GGUF

Für Rollenspiel:

# MythoMax
python download-model.py bartowski/MythoMax-L2-13B-GGUF

Modelle laden

GGUF (empfohlen für die meisten Nutzer)

1. Modell Tab → Modellordner auswählen

2. Modelllader: llama.cpp

3. Setze n-gpu-layers:

   • RTX 3090: 35-40

   • RTX 4090: 45-50

   • A100: 80+

4. Klicken Sie auf Laden

GPTQ (schnell, quantisiert)

1. GPTQ-Modell herunterladen

2. Modelllader: ExLlama_HF oder AutoGPTQ

3. Modell laden

EXL2 (beste Geschwindigkeit)

# exllamav2 installieren
pip install exllamav2

1. EXL2-Modell herunterladen

2. Modelllader: ExLlamav2_HF

3. Laden

Chat-Konfiguration

Charaktereinrichtung

1. Gehe zu Parameter → Charakter

2. Charakterkarte erstellen oder laden

3. Festlegen:

   • Name

   • Kontext/Persona

   • Beispieldialog

Instruktionsmodus

Für instruktionsoptimierte Modelle:

1. Parameter → Instruktionsvorlage

2. Wähle die zu deinem Modell passende Vorlage aus:

   • Llama-2-chat

   • Mistral

   • ChatML

   • Alpaca

API-Nutzung

API aktivieren

Beginne mit --api Flag (Standardport 5000)

OpenAI-kompatible API

import openai

openai.api_base = "http://localhost:5000/v1"
openai.api_key = "not-needed"

response = openai.ChatCompletion.create(
    model="any",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Native API

import requests

response = requests.post(
    "http://localhost:5000/api/v1/generate",
    json={
        "prompt": "Schreibe eine Geschichte über",
        "max_new_tokens": 200,
        "temperature": 0.7
    }
)
print(response.json()["results"][0]["text"]))

Erweiterungen

Erweiterungen installieren

cd /workspace/text-generation-webui/extensions

# Silero TTS (Sprache)
git clone https://github.com/oobabooga/text-generation-webui-extensions

# SuperBoogav2 (RAG/Langzeitgedächtnis)

# Bereits enthalten, in der UI aktivieren

Erweiterungen aktivieren

1. Sitzung Tab → Erweiterungen

2. Checkboxen für die gewünschten Erweiterungen aktivieren

3. Klicken Sie auf Anwenden und neu starten

Beliebte Erweiterungen

Erweiterung	Zweck
silero_tts	Sprachausgabe
whisper_stt	Spracheingabe
superbooga	Dokumenten-Fragen und -Antworten
sd_api_pictures	Bildgenerierung
multimodal	Bildverständnis

Leistungsoptimierung

GGUF-Einstellungen

n_gpu_layers: 35    # GPU-Layer (mehr = schneller)
n_ctx: 4096         # Kontextlänge
n_batch: 512        # Batch-Größe
threads: 8          # CPU-Threads

Speicheroptimierung

Bei begrenztem VRAM:

python server.py --listen --n-gpu-layers 20 --no-mmap

Geschwindigkeitsoptimierung

# llama.cpp mit cuBLAS verwenden
python server.py --listen --loader llama.cpp --n-gpu-layers 50 --threads 8

Feinabstimmung (LoRA)

Trainings-Tab

1. Gehe zu Training Tab

2. Basismodell laden

3. Datensatz hochladen (JSON-Format)

4. Konfigurieren:

   • LoRA-Rang: 8-32

   • Lernrate: 1e-4

   • Epochen: 3-5

5. Training starten

Datensatzformat

[
  {"instruction": "Fasse dies zusammen:", "input": "Langer Text...", "output": "Zusammenfassung..."},
  {"instruction": "Übersetze ins Französische:", "input": "Hallo", "output": "Bonjour"}
]

Deine Arbeit speichern

# Modelle speichern
rsync -avz /workspace/text-generation-webui/models/ backup-server:/models/

# Charaktere speichern
rsync -avz /workspace/text-generation-webui/characters/ backup-server:/characters/

# LoRAs speichern
rsync -avz /workspace/text-generation-webui/loras/ backup-server:/loras/

Fehlerbehebung

Modell wird nicht geladen

• VRAM-Nutzung prüfen: nvidia-smi

• Reduziere n_gpu_layers

• Kleinere Quantisierung verwenden (Q4_K_M → Q4_K_S)

Langsame Generierung

• Erhöhen Sie n_gpu_layers

• EXL2 statt GGUF verwenden

• Aktiviere --no-mmap

Speicher voll

während der Generierung - `n_ctx` verringern (Kontextlänge) - `--n-gpu-layers 0` für reine CPU-Nutzung verwenden - Kleineres Modell ausprobieren

Kostenschätzung

Übliche CLORE.AI-Marktplatzpreise (Stand 2024):

GPU	Stundensatz	Tagessatz	4-Stunden-Sitzung
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

Die Preise variieren je nach Anbieter und Nachfrage. Prüfen Sie CLORE.AI-Marktplatz für aktuelle Preise.

Geld sparen:

• Nutzen Sie den Spot Markt für unterbrechbare Arbeit — etwa ein Drittel der Server bietet Spot-Preise unter dem On-Demand-Preis (Median ca. 13 % Rabatt), der Rest ist gleichauf

• Bezahlen Sie mit CLORE Tokens

• Vergleichen Sie Preise zwischen verschiedenen Anbietern