DeepSeek V4 (1.6T MoE, multimodal)

Deploye DeepSeek V4 auf Clore.ai — das MIT-lizenzierte Frontier-MoE, aktualisiert als Flash-0731 und Pro-0813

Stand (August 2026): DeepSeek V4 wurde erstmals ausgeliefert am 22. April 2026 unter MIT, und beide Stufen wurden seitdem aktualisiert. Die aktuellen Checkpoints sind deepseek-ai/DeepSeek-V4-Flash-0731 (31. Juli 2026, 167 GB FP8, 1M Kontext, mit angebundenem Modul für spekulatives Decoding) und deepseek-ai/DeepSeek-V4-Pro-0813 (13. August 2026, 893 GB FP8, 1M Kontext). Die April-Repos bleiben als Vorschau-Generation online.

Was sich seit April geändert hat

April-Vorschau

Aktuell

Flash

DeepSeek-V4-Flash

DeepSeek-V4-Flash-0731 — 167 GB FP8, 43 Schichten, 256 Experten (6 aktiv), 1M Kontext, DSpark-Spekulativ-Decoding angehängt

Pro

DeepSeek-V4-Pro

DeepSeek-V4-Pro-0813 — 893 GB FP8, 61 Schichten, 384 Experten (6 aktiv), 1M Kontext

Reasoning-Steuerung

—

reasoning_effort: niedrig, hoch, max

Chat-Vorlage

Jinja

Kein Jinja-Template. Das Repo liefert einen encoding/ Ordner mit Python-Hilfsfunktionen zum Erstellen von Prompts und Parsen der Ausgabe

Flash-0731 übertrifft die April-Pro-Vorschau bei DeepSeeks eigenen Benchmarks trotz eines Bruchteils der aktiven Parameter: Terminal-Bench 2.1 82.7 (gegenüber 72,1), NL2Repo 54.2 (gegenüber 38,5), DeepSWE 54.4 (gegenüber 12,8), Toolathlon-Verified 70.3 (gegenüber 55,9). Das sind vom Anbieter berichtete Werte, gemessen mit DeepSeeks eigenem Harness bei reasoning_effort: max.

Wenn du die April-Vorschau eingesetzt hast, ist der Wechsel zu -0731 die einzelne Änderung mit dem größten Nutzen, die du an einem DeepSeek-Deployment derzeit vornehmen kannst.

Flash-0731 mit spekulativem Decoding bereitstellen

vllm serve deepseek-ai/DeepSeek-V4-Flash-0731 \\
  --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \\
  --data-parallel-size 4 --enable-expert-parallel \\
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'

167 GB an Gewichten braucht ein Rig, keine Karte. Auf dem Clore.ai-Marktplatz bedeutet das 6× RTX 5090 (186 GB) oder 8× RTX 4090 (192 GB) — 72 Server mit ≥167 GB gelistet, 26 beim letzten Snapshot frei. Quantisierte GGUF-Builds drücken das noch weiter. Pro-0813 mit 893 GB ist ein Deployment. Bare Metal auf mehreren Servern.

DeepSeek V4 ist das erste offene Frontier-Modell von 2026, das als zweistufige Veröffentlichung. V4-Pro ist das Flaggschiff — ein 1,6 Billionen-Parameter-Mixture-of-Experts mit ungefähr 49B aktiven Parametern pro Token, ein 1M-Token-Kontextfenster, und ein hybrides Attention-Design, das Compressed Sparse Attention mit einem neuen stark komprimierten Attention-Head für günstiges langes Kontext-Prefill kombiniert. V4-Flash ist die praxisnahe Variante — 284B gesamt / 13B aktiv, dieselbe Architektur, passt quantisiert auf eine einzelne 80GB-GPU und läuft bequem auf einer 2×48GB-Box mit Unsloth-GGUF-Builds.

Die Architektur ist die Schlagzeile. DeepSeeks hybrides Attention-Verfahren reduziert den KV-Cache-Speicher bei langem Kontext drastisch, und der MoE-Router wurde für eine präzisere Expertenauswahl neu trainiert — erste unabhängige Läufe berichten, dass Pro beim Coding auf V3-Niveau bei ungefähr der Hälfte des Compute pro aktivem Parameter liegt. Für Clore.ai-Nutzer ist das wichtig, weil V4-Flash das erste Mal ist, dass ein Frontier-Modell mit weniger als 15B aktiven Parametern mit vollständigen Gewichten ausgeliefert wurde, wodurch ernsthafte Open-Inferenz in Reichweite eines einzelnen H100 oder einer günstigen Multi-4090-Box liegt.

Für die meisten Teams ist das realistische Clore-Deployment V4-Flash auf 1× A100 80GB oder 2× RTX 4090 — dort liegt das Preis-Leistungs-Verhältnis. V4-Pro ist für ernsthafte Infrastruktur reserviert: 8× H100, 4× H200 oder 8× B200, idealerweise mit NVLink. Wenn du bisher DeepSeek V3 oder DeepSeek-R1verwendet hast, ist der Migrationspfad unkompliziert — gleiche Modellfamilie, gleiche Chat-Vorlage, Drop-in-Ersatz auf vLLM.

Wichtige Spezifikationen

Eigenschaft

DeepSeek V4-Pro

DeepSeek V4-Flash

Gesamtparameter

1,6T (MoE)

284B (MoE)

Aktive Parameter

~49B pro Token

~13B pro Token

Kontextfenster

1.000.000 Tokens

256.000 Tokens

Attention

Compressed Sparse + stark komprimierte Attention

Compressed Sparse + HCA

Lizenz

MIT

Veröffentlichungsdatum

22. April 2026

HuggingFace

deepseek-ai/DeepSeek-V4-Pro

deepseek-ai/DeepSeek-V4-Flash

Primäre Tools

vLLM, SGLang (ab Tag 0)

vLLM, SGLang, llama.cpp (Unsloth-GGUF)

Warum DeepSeek V4?

Wirklich offene Frontier-Gewichte — MIT-Lizenz, keine Nutzungsbeschränkungen, vollständige kommerzielle Nutzung
1M Kontext bei Pro, 256K bei Flash — verarbeitet komplette Codebasen, Bücher oder einstündige Transkripte in einem Durchgang
Hybride Sparse-Attention — der KV-Cache skaliert bei langem Kontext unterlinear, Prefill ist günstig
Zweistufige Veröffentlichung — Flash ist die erste MoE mit 13B aktiven Parametern, die gut genug ist, um V3 für die meisten Workflows zu ersetzen
vLLM- und SGLang-Unterstützung ab Tag 0 — kein Warten auf Community-Patches, einfach pip install -U und los
MoE-Effizienz — du zahlst Inferenzkosten für 13B/49B, nicht für 284B/1,6T

Anforderungen

Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet. Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als Bare Metal auf Anfrage verkauft. Prüfe GPU-Preise & Verfügbarkeit bevor du eine Bereitstellung dimensionierst.

V4-Pro ist ein Frontier-Modell. Vollständige BF16-Gewichte sind etwa 3,2 TB groß und erfordern Multi-Node-H100/H200 oder 8× B200 NVLink. Es gibt keinen BF16-Pfad für einen einzelnen Server. Wenn du keine Multi-Node-Infrastruktur hast, verwende V4-Flash — es liefert 80 % der Qualität bei 5 % der Hardwarekosten.

Komponente

Minimum (V4-Flash, GGUF Q4)

Option A — Ollama / GGUF (quantisiert, nur V4-Flash)

Unsloth veröffentlichte GGUF-Quants für V4-Flash innerhalb von 48 Stunden nach der Veröffentlichung. Q4_K_M ist der Sweet Spot — passt auf 1× 80 GB oder 2× 48 GB und hält die Qualität nahe an FP8.

# Den Unsloth-Q4_K_M-Build ziehen
docker exec ollama ollama pull hf.co/unsloth/DeepSeek-V4-Flash-GGUF:Q4_K_M
docker exec ollama ollama run hf.co/unsloth/DeepSeek-V4-Flash-GGUF:Q4_K_M

# Oder mit llama.cpp direkt auf einem heruntergeladenen GGUF
docker run --gpus all -it --rm -p 8080:8080 \\
  -v $(pwd)/models:/models \\
  ghcr.io/ggerganov/llama.cpp:server-cuda \\
  -m /models/DeepSeek-V4-Flash-Q4_K_M.gguf \\
  --n-gpu-layers 99 --ctx-size 65536 \\
  --port 8080 --host 0.0.0.0

GGUF-Quants für V4-Pro existieren, sind aber nicht praktisch — selbst Q2_K ist etwa 400 GB groß und die Offload-Leistung ist für Chat unbrauchbar. Bleib bei Flash für quantisierte Deployments.

Option B — vLLM (Produktions-API, empfohlen)

vLLM 0.7.x brachte ab Tag 0 Unterstützung für beide V4-Checkpoints. Die hybriden Attention-Kernel brauchen --trust-remote-code und Hopper- oder Blackwell-Hardware für die volle Geschwindigkeit.

V4-Flash auf einer einzelnen H100 / A100 80GB:

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model deepseek-ai/DeepSeek-V4-Flash
      --tensor-parallel-size 1
      --max-model-len 131072
      --dtype bfloat16
      --gpu-memory-utilization 0.92
      --enable-chunked-prefill
      --served-model-name deepseek-v4-flash
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

V4-Pro auf 8× H100 80GB: ersetze den Befehl durch:

    command: >
      --model deepseek-ai/DeepSeek-V4-Pro
      --tensor-parallel-size 8
      --max-model-len 262144
      --dtype bfloat16
      --gpu-memory-utilization 0.90
      --enable-chunked-prefill
      --enable-prefix-caching
      --served-model-name deepseek-v4-pro
      --trust-remote-code

# API testen
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "deepseek-v4-flash",
    "messages": [{"role": "user", "content": "Schreibe einen asynchronen Rust-TCP-Echo-Server mit sauberem Herunterfahren."}],
    "max_tokens": 2048,
    "temperature": 0.6
  }'

Beginne mit --max-model-len 131072 auch wenn du letztlich den vollen 1M-Kontext willst — lange Kontexte erhöhen die Prefill-Zeit und den KV-Speicher drastisch. Erhöhe ihn erst, wenn die Basis stabil ist.

Option C — SGLang (Alternative, oft schneller auf Hopper)

SGLangs RadixAttention und Prefix-Caching passen gut zu V4s hybrider Attention — bei agentischen Workloads mit gemeinsamen Prompts kannst du mit spürbar besserem tok/s als bei vLLM rechnen.

docker pull lmsysorg/sglang:latest

# V4-Flash auf 1× H100/A100
python3 -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Flash \\
  --tp-size 1 \\
  --context-length 131072 \
  --mem-fraction-static 0.90 \\
  --enable-torch-compile \\
  --served-model-name deepseek-v4-flash \\
  --trust-remote-code

# V4-Pro auf 8× H100
python3 -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V4-Pro \\
  --tp-size 8 \\
  --context-length 262144 \\
  --mem-fraction-static 0.88 \\
  --enable-torch-compile \\
  --served-model-name deepseek-v4-pro \\
  --trust-remote-code

SGLangs --enable-torch-compile fügt nach dem ersten Warmup auf Hopper typischerweise weitere 10–20 % Durchsatz hinzu.

GPU-Empfehlungen für Clore.ai

Einrichtung

Modell

VRAM

Erwarteter Durchsatz

Clore.ai-Kosten

2× RTX 4090 (Q4 GGUF)

V4-Flash

48GB

Hobbynutzung, Einzel-Stream

ca. 0,14–0,42 $/h

1× A100 80GB (FP8)

V4-Flash

80 GB

Solider produktiver Single-Tenant

Bare Metal

1× RTX 5090 32GB (Q4 GGUF, teilweiser Offload)

V4-Flash

32 GB + RAM

Eingeschränkt, nur für Entwicklung

0,25–0,77 $/Std. Spitze

4× H100 80 GB

V4-Flash FP8 (überdimensioniert) oder V4-Pro Q4

320 GB

Flash für mehrere Mandanten, Pro im Single-Stream

~$1.04/hr

8× H100 80 GB

V4-Pro BF16

640GB

Produktive Frontier-Inferenz

~$1.04/hr

4× H200 141GB

V4-Pro BF16 + 1M Kontext

564 GB

Voller 1M-Kontext, maximale Leistung

Bare Metal

Bestes Preis-Leistungs-Verhältnis auf Clore.ai: 1× A100 80GB, die V4-Flash FP8 ausführt. Du bekommst 256K Kontext, etwa 13B aktive Inferenzkosten, keinen Quantisierungsverlust, und die Rechnung liegt ungefähr auf dem Niveau eines Claude-Sonnet-API-Abos — mit Gewichten, die auf deiner Maschine bleiben.

Anwendungsfälle

Reasoning über die gesamte Codebasis — V4-Pro mit 1M Kontext passt in ein typisches Monorepo mit 500K LOC plus dessen Tests in einen einzigen Prompt
RAG in Langform — ganze Bücher, Gerichtsakten oder Jahresberichte in den Kontext laden, die Chunking-Pipeline überspringen
Agentisches Coding — V4-Flash erreicht auf SWE-Bench V3-Niveau zu einem Bruchteil der Inferenzkosten; kombiniere es mit SWE-agent oder OpenHands
Synthese mehrerer Dokumente — Forschungs-Workflows, für die früher Gemini 2.5 Pro nötig war, laufen jetzt auf deiner eigenen Hardware
Selbst gehosteter Ersatz für Cursor / Copilot — V4-Flash auf einem einzelnen A100 sättigt ein 5-Entwickler-Team
Basis für Feintuning — MIT-Lizenz + saubere MoE-Architektur machen es zu einem starken Ausgangspunkt für domänenspezifische Feintunings

Benchmarks

Vom Anbieter behauptet — unabhängig prüfen. Die Zahlen unten stammen aus DeepSeeks Ankündigung vom 22. April 2026 und der Model Card. Unabhängige Reproduktionen werden noch veröffentlicht; betrachte sie als grobe Orientierung, nicht als Evangelium.

Benchmark

V4-Pro

V4-Flash

DeepSeek V3

GLM-5.1

MMLU-Pro

~84%

~78%

~76%

~80%

SWE-Bench Verified

~82%

~74%

~70%

~79%

HumanEval

~96%

~92%

~91%

~94%

MATH-500

~94%

~88%

~85%

~90%

LiveCodeBench

~76%

~68%

~62%

~72%

Langkontext (1M Nadel-im-Heuhaufen)

~98%

n/v

Für einen direkten Open-Weight-Vergleich siehe den GLM-5.1-Leitfaden — V4-Pro und GLM-5.1 liefern sich je nach Benchmark ein Kopf-an-Kopf-Rennen.

Fehlerbehebung

Problem

Lösung

OutOfMemoryError V4-Pro auf 8×H100 laden

BF16 braucht etwa 3,2 TB — Pro passt nicht auf einen einzelnen 8×H100-Knoten. Verwende 4× H200 141GB oder Multi-Node.

nicht unterstütztes Attention-Backend

V4 benötigt vLLM ≥ 0.7.0 oder SGLang ≥ 0.4.4. Ausführen pip install -U vllm (oder ziehe :latest Docker-Image).

Langsamer HuggingFace-Download

Verwende huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./weights --resume-download. Pro ist etwa 3,2 TB groß; Flash ist etwa 570 GB groß.

--trust-remote-code abgelehnt

Die hybriden Attention-Module werden als benutzerdefinierter Code im Repo ausgeliefert — --trust-remote-code ist für beide Engines erforderlich, bis die Kernel in den Upstream-Transformers gelandet sind.

GGUF Q4 gibt wirres Zeug aus

Stell sicher, dass du den Unsloth-Build verwendest (unsloth/DeepSeek-V4-Flash-GGUF), nicht einen frühen Community-Quant. Der MoE-Router braucht eine spezielle Behandlung, die frühe Quants falsch gemacht haben.

1M-Kontext führt bei V4-Pro zu OOM

Reduziere auf --max-model-len 262144 und füge --enable-prefix-caching. Echte 1M-Bereitstellung braucht H200 oder B200.

Langsames Prefill bei langem Kontext

Das ist zu erwarten — selbst mit hybrider Attention dauert ein Prefill von 500K+ Minuten, nicht Sekunden. Verwende --enable-chunked-prefill und Prefix-Caching, um die Kosten zu verteilen.

Nächste Schritte

Vorgänger: DeepSeek V3 — das Modell, das V4-Flash effektiv ersetzt
Reasoning-Geschwistermodell: DeepSeek-R1 — auf Chain-of-Thought getunt, weiterhin nützlich für mathematisch schwere Workflows
Open-Weight-Alternative: GLM-5.1 — 744B MoE, Spitze bei SWE-Bench Pro, vergleichbare Preis-Leistung
Multimodale Alternative: Qwen3.5-Omni — wenn du Vision/Audio im selben Modell brauchst
Hardware mieten: Clore.ai-Marktplatz — H100/H200/A100/RTX 4090 ab 0,14–0,42 $/Std.

Links

VorherigeLFM2-24B-A2B

NächsteGLM-5.1 (744B MoE, #1 SWE-Bench Pro)

Zuletzt aktualisiert vor 1 Monat

War das hilfreich?