Modellkompatibilität

Kompatibilitätsmatrix für KI-Modelle und GPUs auf Clore.ai

Vollständiger Leitfaden dazu, welche KI-Modelle auf welchen GPUs auf CLORE.AI laufen.

Finde GPUs mit der richtigen VRAM-Größe bei CLORE.AI-Marktplatz.

Schnellreferenz

Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet. Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als Bare Metal auf Anfrage verkauft. Prüfe GPU-Preise & Verfügbarkeit bevor du eine Bereitstellung dimensionierst.

Sprachmodelle (LLM)

Modell	Parameter	Min. VRAM	Empfohlen	Quantisierung
Llama 3.2	1B	2 GB	4 GB	Q4, Q8, FP16
Llama 3.2	3B	4 GB	6 GB	Q4, Q8, FP16
Llama 3.1/3	8B	6 GB	12 GB	Q4, Q8, FP16
Mistral	7B	6 GB	12 GB	Q4, Q8, FP16
Qwen 2.5	7B	6 GB	12 GB	Q4, Q8, FP16
Qwen 2.5	14B	12 GB	16 GB	Q4, Q8
Qwen 2.5	32B	20 GB	24 GB	Q4, Q8
Llama 3.1	70B	40 GB	48GB	Q4, Q8
Qwen 2.5	72B	48GB	80 GB	Q4, Q8
Mixtral	8x7B	24 GB	48GB	Q4
DeepSeek-V3	671B	320 GB+	640GB	FP8
DeepSeek-R1	671B	320 GB+	8x H100	FP8, Reasoning-Modell
DeepSeek-R1-Distill	32B	20 GB	2x A100 / RTX 5090	Q4/Q8

Modelle zur Bilderzeugung

Modell	Min. VRAM	Empfohlen	Hinweise
SD 1.5	4 GB	8 GB	nativ 512x512
SD 2.1	6 GB	8 GB	nativ 768x768
SDXL	8 GB	12 GB	nativ 1024x1024
SDXL Turbo	8 GB	12 GB	1-4 Schritte
SD3.5 Large (8B)	16 GB	24 GB	1024x1024, fortgeschrittene Qualität
FLUX.1 schnell	12 GB	16 GB	4 Schritte, schnell
FLUX.1 dev	16 GB	24 GB	20-50 Schritte
TRELLIS	16 GB	24 GB (RTX 4090)	3D-Generierung aus Bildern

Modelle zur Videoerzeugung

Modell	Min. VRAM	Empfohlen	Ausgabe
Stable Video Diffusion	16 GB	24 GB	4 Sek., 576x1024
AnimateDiff	12 GB	16 GB	2-4 Sek.
LTX-Video	16 GB	24 GB (RTX 4090/3090)	5 Sek., 768x512, sehr schnell
Wan2.1	24 GB	40 GB	5 Sek., 480p-720p
Hunyuan Video	40 GB	80 GB	5 Sek., 720p
OpenSora	24 GB	40 GB	Variable

Audiomodelle

Modell	Min. VRAM	Empfohlen	Aufgabe
Whisper tiny	1 GB	2 GB	Transkription
Whisper base	1 GB	2 GB	Transkription
Whisper small	2 GB	4 GB	Transkription
Whisper medium	4 GB	6 GB	Transkription
Whisper large-v3	6 GB	10 GB	Transkription
Bark	8 GB	12 GB	Text-zu-Sprache
Stable Audio	8 GB	12 GB	Musikgenerierung

Vision- & Vision-Language-Modelle

Modell	Min. VRAM	Empfohlen	Aufgabe
Llama 3.2 Vision 11B	12 GB	16 GB	Bildverständnis
Llama 3.2 Vision 90B	48GB	80 GB	Bildverständnis
LLaVA 7B	8 GB	12 GB	Visuelles QA
LLaVA 13B	16 GB	24 GB	Visuelles QA
Qwen2.5-VL 7B	16 GB	24 GB (RTX 4090)	Bild-/Video-/Dokumenten-OCR
Qwen2.5-VL 72B	48GB	2x A100 80 GB	Maximale VL-Fähigkeit

Fine-Tuning- & Trainings-Tools

Tool / Methode	Min. VRAM	Empfohlene GPU	Aufgabe
Unsloth QLoRA 7B	12 GB	RTX 3090 24 GB	2x schnelleres QLoRA, wenig VRAM
Unsloth QLoRA 13B	16 GB	RTX 4090 24GB	Schnelles Fine-Tuning
LoRA (Standard)	12 GB	RTX 3090	Parameter-effizientes Fine-Tuning
Vollständiges Fine-Tuning 7B	40 GB	A100 40GB	Training mit maximaler Qualität

---

Detaillierte Kompatibilitätstabellen

LLM nach GPU

GPU	Max. Modell (Q4)	Max. Modell (Q8)	Max. Modell (FP16)
RTX 3060 12 GB	13B	7B	3B
RTX 3070 8 GB	7B	3B	1B
RTX 3080 10GB	7B	7B	3B
RTX 3090 24 GB	30B	13B	7B
RTX 4070 Ti 12 GB	13B	7B	3B
RTX 4080 16 GB	14B	7B	7B
RTX 4090 24GB	30B	13B	7B
RTX 5090 32 GB	70B	14B	13B
A100 40GB	70B	30B	14B
A100 80GB	70B	70B	30B
H100 80 GB	70B	70B	30B

Bilderzeugung nach GPU

GPU	SD 1.5	SDXL	FLUX schnell	FLUX dev
RTX 3060 12 GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3070 8 GB	✅ 512	⚠️ 512	❌	❌
RTX 3080 10GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 3090 24 GB	✅ 768	✅ 1024	✅ 1024	⚠️ 768*
RTX 4070 Ti 12 GB	✅ 512	✅ 768	⚠️ 512*	❌
RTX 4080 16 GB	✅ 768	✅ 1024	✅ 768	⚠️ 512*
RTX 4090 24GB	✅ 1024	✅ 1024	✅ 1024	✅ 1024
RTX 5090 32 GB	✅ 1024	✅ 1024	✅ 1536	✅ 1536
A100 40GB	✅ 1024	✅ 1024	✅ 1024	✅ 1024
A100 80GB	✅ 2048	✅ 2048	✅ 1536	✅ 1536

*Mit CPU-Offload oder reduzierter Batch-Größe

Videoerzeugung nach GPU

GPU	SVD	AnimateDiff	Wan2.1	Hunyuan
RTX 3060 12 GB	❌	⚠️ kurz	❌	❌
RTX 3090 24 GB	✅ 2-4 Sek.	✅	⚠️ 480p	❌
RTX 4090 24GB	✅ 4 Sek.	✅	✅ 480p	⚠️ kurz
RTX 5090 32 GB	✅ 6 Sek.	✅	✅ 720p	✅ 5 Sek.
A100 40GB	✅ 4 Sek.	✅	✅ 720p	✅ 5 Sek.
A100 80GB	✅ 8 Sek.	✅	✅ 720p	✅ 10 Sek.

---

Leitfaden zur Quantisierung

Was ist Quantisierung?

Quantisierung reduziert die Modellpräzision, damit sie in weniger VRAM passt:

Format	Bits	VRAM-Reduktion	Qualitätsverlust
FP32	32	Basiswert	Keine
FP16	16	50%	Minimal
BF16	16	50%	Minimal
FP8	8	75%	Gering
Q8	8	75%	Gering
Q6_K	6	81%	Gering
Q5_K_M	5	84%	Mäßig
Q4_K_M	4	87%	Mäßig
Q3_K_M	3	91%	Deutlich
Q2_K	2	94%	Erheblich

VRAM-Rechner

Formel: VRAM (GB) ≈ Parameter (B) × Bytes pro Parameter

Modellgröße	FP16	Q8	Q4
1B	2 GB	1 GB	0,5 GB
3B	6 GB	3 GB	1,5 GB
7B	14 GB	7 GB	3,5 GB
8B	16 GB	8 GB	4 GB
13B	26 GB	13 GB	6,5 GB
14B	28 GB	14 GB	7 GB
30B	60 GB	30 GB	15 GB
32B	64 GB	32 GB	16 GB
70B	140 GB	70 GB	35 GB
72B	144 GB	72 GB	36 GB

*Füge ca. 20 % für KV-Cache und Overhead hinzu

Empfohlene Quantisierung nach Anwendungsfall

Anwendungsfall	Empfohlen	Warum
Chat/Allgemein	Q4_K_M	Gute Balance zwischen Geschwindigkeit und Qualität
Programmierung	Q5_K_M+	Bessere Genauigkeit für Code
Kreatives Schreiben	Q4_K_M	Geschwindigkeit ist wichtiger
Analyse	Q6_K+	Höhere Präzision erforderlich
Produktion	FP16/BF16	Maximale Qualität

---

Kontextlänge vs. VRAM

Wie Kontext den VRAM beeinflusst

Jedes Modell hat ein Kontextfenster (maximale Token). Längerer Kontext = mehr VRAM:

Modell	Standard-Kontext	Max. Kontext	VRAM pro 1K Token
Llama 3 8B	8K	128K	~0,3 GB
Llama 3 70B	8K	128K	~0,5 GB
Qwen 2.5 7B	8K	128K	~0,25 GB
Mistral 7B	8K	32K	~0,25 GB
Mixtral 8x7B	32K	32K	~0,4 GB

Kontext nach GPU (Llama 3 8B Q4)

GPU	Komfortabler Kontext	Maximaler Kontext
RTX 3060 12 GB	16K	32K
RTX 3090 24 GB	64K	96K
RTX 4090 24GB	64K	96K
RTX 5090 32 GB	96K	128K
A100 40GB	96K	128K
A100 80GB	128K	128K

---

Multi-GPU-Konfigurationen

Tensor-Parallelismus

Teile ein Modell auf mehrere GPUs auf:

Konfiguration	Gesamt-VRAM	Max. Modell (FP16)
2x RTX 3090	48GB	30B
2x RTX 4090	48GB	30B
2x RTX 5090	64 GB	32B
4x RTX 5090	128 GB	70B
2x A100 40 GB	80 GB	70B
4x A100 40 GB	160 GB	100B+
8x A100 80 GB	640GB	DeepSeek-V3

vLLM Multi-GPU

# 2 GPUs
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2

# 4 GPUs
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 4

---

Spezifische Modellleitfäden

Llama 3.1 Familie

Variante	Parameter	Min. GPU	Empfohlene Konfiguration
Llama 3.2 1B	1B	Beliebige 4 GB	RTX 3060
Llama 3.2 3B	3B	Beliebige 6 GB	RTX 3060
Llama 3.1 8B	8B	RTX 3060	RTX 3090
Llama 3.1 70B	70B	A100 40GB	2x A100 40 GB
Llama 3.1 405B	405B	8x A100 80 GB	8x H100

Mistral/Mixtral-Familie

Variante	Parameter	Min. GPU	Empfohlene Konfiguration
Mistral 7B	7B	RTX 3060	RTX 3090
Mixtral 8x7B	46,7B	RTX 3090	A100 40GB
Mixtral 8x22B	141B	2x A100 80 GB	4x A100 80 GB

Qwen 2.5 Familie

Variante	Parameter	Min. GPU	Empfohlene Konfiguration
Qwen 2.5 0.5B	0,5B	Beliebige 2 GB	Beliebige 4 GB
Qwen 2.5 1.5B	1,5B	Beliebige 4 GB	RTX 3060
Qwen 2.5 3B	3B	Beliebige 6 GB	RTX 3060
Qwen 2.5 7B	7B	RTX 3060	RTX 3090
Qwen 2.5 14B	14B	RTX 3090	RTX 4090
Qwen 2.5 32B	32B	RTX 4090	A100 40GB
Qwen 2.5 72B	72B	A100 40GB	A100 80GB

DeepSeek-Modelle

Variante	Parameter	Min. GPU	Empfohlene Konfiguration
DeepSeek-Coder 6.7B	6,7B	RTX 3060	RTX 3090
DeepSeek-Coder 33B	33B	RTX 4090	A100 40GB
DeepSeek-V2-Lite	15,7B	RTX 3090	A100 40GB
DeepSeek-V3	671B	8x A100 80 GB	8x H100
DeepSeek-R1	671B	8x A100 80 GB	8x H100 (FP8)
DeepSeek-R1-Distill-Qwen-32B	32B	RTX 5090 32 GB	2x A100 40 GB
DeepSeek-R1-Distill-Qwen-7B	7B	RTX 3090 24 GB	RTX 4090

---

Fehlerbehebung

"CUDA out of memory"

1. Quantisierung reduzieren: Q8 → Q4

2. Kontextlänge verringern: max_tokens reduzieren

3. CPU-Offload aktivieren: --cpu-offload oder enable_model_cpu_offload()

4. Kleinere Batch verwenden: batch_size=1

5. Andere GPU ausprobieren: Mehr VRAM benötigt

"Modell zu groß"

1. Quantisierte Version verwenden: GGUF-Q4-Modelle

2. Mehrere GPUs verwenden: Tensorparallelität

3. Auf CPU auslagern: Langsamer, aber funktioniert

4. Kleineres Modell wählen: 7B statt 13B

"Langsame Generierung"

1. GPU aufrüsten: Mehr VRAM = weniger Auslagerung

2. Schnellere Quantisierung verwenden: Q4 ist schneller als Q8

3. Kontext reduzieren: Kürzer = schneller

4. Flash Attention aktivieren: --flash-attn

Nächste Schritte

• GPU-Vergleichsleitfaden - Detaillierte GPU-Spezifikationen

• Katalog der Docker-Images - Einsatzbereite Images

• Schnellstartanleitung - In 5 Minuten loslegen