Überblick

Führen Sie große Sprachmodelle (LLMs) auf CLORE.AI-GPUs für Inferenz- und Chat-Anwendungen aus.

Beliebte Werkzeuge

Tool	Einsatzgebiet	Schwierigkeitsgrad
Ollama	Einfachste LLM-Einrichtung	Anfänger
WebUI öffnen	ChatGPT-ähnliche Oberfläche	Anfänger
vLLM	Durchsatzstarkes Produktions-Serving	Mittel
Llama.cpp-Server	Effiziente GGUF-Inferenz	Einfach
Text Generation WebUI	Voll ausgestattete Chat-Benutzeroberfläche	Einfach
ExLlamaV2	Schnellste EXL2-Inferenz	Mittel
LocalAI	OpenAI-kompatible API	Mittel

Modellanleitungen

Modell	Parameter	Am besten geeignet für
DeepSeek-V3	671B MoE	Schlussfolgern, Code, Mathematik
Qwen2.5	0,5B–72B	Mehrsprachig, Code
Mistral/Mixtral	7B / 8x7B	Allzweck
DeepSeek Coder	6,7B–33B	Code-Generierung
CodeLlama	7B–34B	Codevervollständigung
Gemma 2	2B–27B	Effiziente Inferenz
Phi-4	14B	Klein, aber fähig

GPU-Empfehlungen

Modellgröße	Minimale GPU	Empfohlen
7B (Q4)	RTX 3060 12GB	RTX 3090
13B (Q4)	RTX 3090 24GB	RTX 4090
34B (Q4)	2x RTX 3090	A100 40GB
70B (Q4)	A100 80GB	2x A100

Quantisierungsanleitung

Format	VRAM-Nutzung	Qualität	Geschwindigkeit
Q2_K	Niedrigste	Schlecht	Am schnellsten
Q4_K_M	Gering	Gut	Schnell
Q5_K_M	Mittel	Großartig	Mittel
Q8_0	Hoch	Ausgezeichnet	Langsamer
FP16	Höchste	Am besten	Langsamste

Siehe auch

• Training & Feinabstimmung

• Vision-Sprach-Modelle