Überblick

Führen Sie große Sprachmodelle (LLMs) auf CLORE.AI-GPUs für Inferenz- und Chat-Anwendungen aus.

Beliebte Tools

Tool	Anwendungsfall	Schwierigkeit
Ollama	Einfachstes LLM-Setup	Anfänger
Open WebUI	ChatGPT-ähnliche Oberfläche	Anfänger
vLLM	Produktionsbereitstellung mit hohem Durchsatz	Mittel
Llama.cpp Server	Effiziente GGUF-Inferenz	Einfach
Text Generation WebUI	Funktionsreiche Chat-Oberfläche	Einfach
ExLlamaV2	Schnellste EXL2-Inferenz	Mittel
LocalAI	Mit OpenAI kompatible API	Mittel
SGLang	Schnelle strukturierte Generierung	Mittel
Text Generation Inference (TGI)	HuggingFace-Bereitstellungslösung	Mittel
LMDeploy	MMlab-Bereitstellungstoolkit	Mittel
Aphrodite Engine	vLLM-Fork mit zusätzlichen Funktionen	Mittel
MLC-LLM	Kompilierung für maschinelles Lernen	Schwer
LiteLLM	Einheitlicher API-Proxy	Mittel
PowerInfer	Inferenz für spärliche Modelle	Schwer
Mistral.rs	Rust-basierte Inferenz-Engine	Mittel

Modellanleitungen

Neueste & beste Modelle

Modell	Parameter	Lizenz	Passt auf
Qwen3.8-27B	27B dicht	Apache 2.0	1× RTX 4090 (Q4)
Mistral Small 4	119B / 6,5B aktiv	Apache 2.0	2× RTX 4090 (Q2)
GLM-5.2	~750B / 40B aktiv	MIT	10× RTX 5090 (Q2)
DeepSeek V4	Flash 167 GB · Pro 893 GB	MIT	6–8× RTX 5090 (Flash)
MiniMax M3	428B / 23B aktiv	minimax-community	6–8× RTX 5090 (Q2–Q3)
Nemotron 3 Ultra	550B / 55B aktiv	OpenMDW-1.1	4× RTX PRO 6000 (NVFP4)
Kimi K3	2,8T	Kimi-K3-Lizenz	Nichts auf dem Marktplatz
GLM-5.1	744B / 40B aktiv	MIT	Große Rigs
Llama 4	Scout & Maverick	Llama-Community	1× RTX 4090 (Scout Q4)
DeepSeek-R1	671B MoE	MIT	Große Rigs
Qwen2.5	0,5B–72B	Apache 2.0	Jede Karte

Spezialisierte Modelle

Modell	Parameter	Am besten geeignet für
DeepSeek Coder	6,7B–33B	Code-Generierung
CodeLlama	7B–34B	Code-Vervollständigung
GLM-4.7-Flash	4,7B	Schnelles Chinesisch/Englisch
GLM-5	Wird noch bekannt gegeben	Neueste Zhipu AI
Kimi K2.5	Wird noch bekannt gegeben	Moonshot-AI-Modell
Ling-2.5-1T	1T	Riesiges Open-Source-LLM
LFM2-24B	24B	Liquid AI-Modell
MiMo-V2-Flash	Wird noch bekannt gegeben	Schnelles Inferenzmodell

Effiziente Modelle

Modell	Parameter	Am besten geeignet für
Gemma 2	2B–27B	Effiziente Inferenz
Gemma 3	Wird noch bekannt gegeben	Googles neuestes kompaktes Modell
Phi-4	14B	Klein, aber leistungsfähig
Mistral/Mixtral	7B / 8x7B	Allgemeiner Zweck
Mistral Large 3	675B MoE	Für Unternehmen geeignet
Mistral Small 3.1	Wird noch bekannt gegeben	Effiziente Mistral-Variante

GPU-Empfehlungen

Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet. Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als Bare Metal auf Anfrage verkauft. Prüfe GPU-Preise & Verfügbarkeit bevor du eine Bereitstellung dimensionierst.

Modellgröße	Minimale GPU	Empfohlen	Clore.ai-Kosten
7B (Q4)	RTX 3060 12 GB	RTX 3090	0,03–0,21 $/Std.
13B (Q4)	RTX 3090 24 GB	RTX 4090	$0.07–0.42/Std.
27B (Q4)	RTX 3090 24 GB	RTX 4090 / 5090	0,07–0,77 $/Std.
34B (Q4)	2× RTX 3090	1× RTX 5090	0,14–0,77 $/Std.
70B (Q4)	2× RTX 5090	1× RTX PRO 6000 96GB	$0.50–1.54/Std.
120B+ (Q2)	2× RTX 4090	2× RTX 5090	0,28–1,54 $/Std.
400B+ (Q2)	8× RTX 5090	4× RTX PRO 6000	ca. 2,00–5,00 $/Std.

Quantisierungsleitfaden

Format	VRAM-Nutzung	Qualität	Geschwindigkeit
Q2_K	Niedrigste	Schlecht	Schnellste
Q4_K_M	Niedrig	Gut	Schnell
Q5_K_M	Mittel	Großartig	Mittel
Q8_0	Hoch	Hervorragend	Langsamer
FP16	Am höchsten	Am besten	Langsamste

Siehe auch

• Training & Feinabstimmung

• Vision-Language-Modelle