> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/deepseek-v4.md). # DeepSeek V4 (1.6T MoE, multimodal) Deploye DeepSeek V4 auf Clore.ai — das MIT-lizenzierte Frontier-MoE, aktualisiert als Flash-0731 und Pro-0813 {% hint style="info" %} **Stand (August 2026):** DeepSeek V4 wurde erstmals ausgeliefert am **22. April 2026** unter **MIT**, und beide Stufen wurden seitdem aktualisiert. Die aktuellen Checkpoints sind [deepseek-ai/DeepSeek-V4-Flash-0731](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731) (**31. Juli 2026**, 167 GB FP8, 1M Kontext, mit angebundenem Modul für spekulatives Decoding) und [deepseek-ai/DeepSeek-V4-Pro-0813](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-0813) (**13. August 2026**, 893 GB FP8, 1M Kontext). Die April-Repos bleiben als Vorschau-Generation online. {% endhint %} ## Was sich seit April geändert hat | | April-Vorschau | Aktuell | | ------------------- | ------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------- | | Flash | `DeepSeek-V4-Flash` | **`DeepSeek-V4-Flash-0731`** — 167 GB FP8, 43 Schichten, 256 Experten (6 aktiv), 1M Kontext, DSpark-Spekulativ-Decoding angehängt | | Pro | `DeepSeek-V4-Pro` | **`DeepSeek-V4-Pro-0813`** — 893 GB FP8, 61 Schichten, 384 Experten (6 aktiv), 1M Kontext | | Reasoning-Steuerung | — | `reasoning_effort`: `niedrig`, `hoch`, `max` | | Chat-Vorlage | Jinja | **Kein Jinja-Template.** Das Repo liefert einen `encoding/` Ordner mit Python-Hilfsfunktionen zum Erstellen von Prompts und Parsen der Ausgabe | **Flash-0731 übertrifft die April-Pro-Vorschau** bei DeepSeeks eigenen Benchmarks trotz eines Bruchteils der aktiven Parameter: Terminal-Bench 2.1 **82.7** (gegenüber 72,1), NL2Repo **54.2** (gegenüber 38,5), DeepSWE **54.4** (gegenüber 12,8), Toolathlon-Verified **70.3** (gegenüber 55,9). Das sind vom Anbieter berichtete Werte, gemessen mit DeepSeeks eigenem Harness bei `reasoning_effort: max`. Wenn du die April-Vorschau eingesetzt hast, ist der Wechsel zu `-0731` die einzelne Änderung mit dem größten Nutzen, die du an einem DeepSeek-Deployment derzeit vornehmen kannst. ### Flash-0731 mit spekulativem Decoding bereitstellen ```bash vllm serve deepseek-ai/DeepSeek-V4-Flash-0731 \\ --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \\ --data-parallel-size 4 --enable-expert-parallel \\ --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}' ``` {% hint style="warning" %} **167 GB an Gewichten braucht ein Rig, keine Karte.** Auf dem Clore.ai-Marktplatz bedeutet das 6× RTX 5090 (186 GB) oder 8× RTX 4090 (192 GB) — 72 Server mit ≥167 GB gelistet, 26 beim letzten Snapshot frei. Quantisierte GGUF-Builds drücken das noch weiter. Pro-0813 mit 893 GB ist ein Deployment. [Bare Metal](https://clore.ai/bare-metal) auf mehreren Servern. {% endhint %} DeepSeek V4 ist das erste offene Frontier-Modell von 2026, das als **zweistufige Veröffentlichung**. **V4-Pro** ist das Flaggschiff — ein **1,6 Billionen-Parameter-Mixture-of-Experts** mit ungefähr **49B aktiven Parametern pro Token**, ein **1M-Token-Kontextfenster**, und ein hybrides Attention-Design, das Compressed Sparse Attention mit einem neuen stark komprimierten Attention-Head für günstiges langes Kontext-Prefill kombiniert. **V4-Flash** ist die praxisnahe Variante — **284B gesamt / 13B aktiv**, dieselbe Architektur, passt quantisiert auf eine einzelne 80GB-GPU und läuft bequem auf einer 2×48GB-Box mit Unsloth-GGUF-Builds. Die Architektur ist die Schlagzeile. DeepSeeks hybrides Attention-Verfahren reduziert den KV-Cache-Speicher bei langem Kontext drastisch, und der MoE-Router wurde für eine präzisere Expertenauswahl neu trainiert — erste unabhängige Läufe berichten, dass Pro beim Coding auf V3-Niveau bei ungefähr der Hälfte des Compute pro aktivem Parameter liegt. Für Clore.ai-Nutzer ist das wichtig, weil **V4-Flash das erste Mal ist, dass ein Frontier-Modell mit weniger als 15B aktiven Parametern mit vollständigen Gewichten ausgeliefert wurde**, wodurch ernsthafte Open-Inferenz in Reichweite eines einzelnen H100 oder einer günstigen Multi-4090-Box liegt. Für die meisten Teams ist das realistische Clore-Deployment **V4-Flash auf 1× A100 80GB oder 2× RTX 4090** — dort liegt das Preis-Leistungs-Verhältnis. V4-Pro ist für ernsthafte Infrastruktur reserviert: 8× H100, 4× H200 oder 8× B200, idealerweise mit NVLink. Wenn du bisher [DeepSeek V3](/guides/guides_v2-de/sprachmodelle/deepseek-v3.md) oder [DeepSeek-R1](/guides/guides_v2-de/sprachmodelle/deepseek-r1.md)verwendet hast, ist der Migrationspfad unkompliziert — gleiche Modellfamilie, gleiche Chat-Vorlage, Drop-in-Ersatz auf vLLM. ### Wichtige Spezifikationen | Eigenschaft | DeepSeek V4-Pro | DeepSeek V4-Flash | | ---------------------- | --------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------- | | Gesamtparameter | 1,6T (MoE) | 284B (MoE) | | Aktive Parameter | \~49B pro Token | \~13B pro Token | | Kontextfenster | 1.000.000 Tokens | 256.000 Tokens | | Attention | Compressed Sparse + stark komprimierte Attention | Compressed Sparse + HCA | | Lizenz | MIT | MIT | | Veröffentlichungsdatum | 22. April 2026 | 22. April 2026 | | HuggingFace | [deepseek-ai/DeepSeek-V4-Pro](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) | [deepseek-ai/DeepSeek-V4-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) | | Primäre Tools | vLLM, SGLang (ab Tag 0) | vLLM, SGLang, llama.cpp (Unsloth-GGUF) | ### Warum DeepSeek V4? * **Wirklich offene Frontier-Gewichte** — MIT-Lizenz, keine Nutzungsbeschränkungen, vollständige kommerzielle Nutzung * **1M Kontext bei Pro, 256K bei Flash** — verarbeitet komplette Codebasen, Bücher oder einstündige Transkripte in einem Durchgang * **Hybride Sparse-Attention** — der KV-Cache skaliert bei langem Kontext unterlinear, Prefill ist günstig * **Zweistufige Veröffentlichung** — Flash ist die erste MoE mit 13B aktiven Parametern, die gut genug ist, um V3 für die meisten Workflows zu ersetzen * **vLLM- und SGLang-Unterstützung ab Tag 0** — kein Warten auf Community-Patches, einfach `pip install -U` und los * **MoE-Effizienz** — du zahlst Inferenzkosten für 13B/49B, nicht für 284B/1,6T *** ## Anforderungen {% hint style="warning" %} **Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet.** Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als [Bare Metal](https://clore.ai/bare-metal) auf Anfrage verkauft. Prüfe [GPU-Preise & Verfügbarkeit](/guides/guides_v2-de/erste-schritte/pricing.md) bevor du eine Bereitstellung dimensionierst. {% endhint %} {% hint style="warning" %} **V4-Pro ist ein Frontier-Modell.** Vollständige BF16-Gewichte sind etwa 3,2 TB groß und erfordern Multi-Node-H100/H200 oder 8× B200 NVLink. Es gibt keinen BF16-Pfad für einen einzelnen Server. Wenn du keine Multi-Node-Infrastruktur hast, verwende V4-Flash — es liefert 80 % der Qualität bei 5 % der Hardwarekosten. {% endhint %} | Komponente | Minimum (V4-Flash, GGUF Q4) | Empfohlen (V4-Flash FP8) | Vollständiges V4-Pro (BF16) | | ---------- | --------------------------- | ------------------------------ | -------------------------------- | | GPU-VRAM | 1× 80GB oder 2× 48GB | 1× H100 80GB oder 1× A100 80GB | 8× H100 80GB oder 4× H200 141GB | | RAM | 64 GB | 128GB | 1 TB+ | | Festplatte | 200 GB NVMe | 600 GB NVMe | 4 TB NVMe | | CUDA | 12.8+ | 12.8+ | 12.8+ | | Netzwerk | — | — | NVLink / 400Gb IB für Multi-Node | **Hardware-Fit:** Für 95 % der Nutzer, **V4-Flash in FP8 auf einer Karte der 80-GB-Klasse** ist der Sweet Spot — voller 256K-Kontext, kein Quantisierungsverlust, [Bare Metal](https://clore.ai/bare-metal) auf dem Marktplatz. Greife zu [H100](https://clore.ai/rent-h100.html) oder [H200](https://clore.ai/rent-h200.html) Tensor-Parallel-Setups nur, wenn du wirklich den 1M-Kontext von V4-Pro oder den zusätzlichen Reasoning-Spielraum brauchst. *** ## Option A — Ollama / GGUF (quantisiert, nur V4-Flash) Unsloth veröffentlichte GGUF-Quants für V4-Flash innerhalb von 48 Stunden nach der Veröffentlichung. Q4\_K\_M ist der Sweet Spot — passt auf 1× 80 GB oder 2× 48 GB und hält die Qualität nahe an FP8. ```bash # Den Unsloth-Q4_K_M-Build ziehen docker exec ollama ollama pull hf.co/unsloth/DeepSeek-V4-Flash-GGUF:Q4_K_M docker exec ollama ollama run hf.co/unsloth/DeepSeek-V4-Flash-GGUF:Q4_K_M # Oder mit llama.cpp direkt auf einem heruntergeladenen GGUF docker run --gpus all -it --rm -p 8080:8080 \\ -v $(pwd)/models:/models \\ ghcr.io/ggerganov/llama.cpp:server-cuda \\ -m /models/DeepSeek-V4-Flash-Q4_K_M.gguf \\ --n-gpu-layers 99 --ctx-size 65536 \\ --port 8080 --host 0.0.0.0 ``` {% hint style="info" %} GGUF-Quants für V4-**Pro** existieren, sind aber nicht praktisch — selbst Q2\_K ist etwa 400 GB groß und die Offload-Leistung ist für Chat unbrauchbar. Bleib bei Flash für quantisierte Deployments. {% endhint %} *** ## Option B — vLLM (Produktions-API, empfohlen) vLLM 0.7.x brachte ab Tag 0 Unterstützung für beide V4-Checkpoints. Die hybriden Attention-Kernel brauchen `--trust-remote-code` und Hopper- oder Blackwell-Hardware für die volle Geschwindigkeit. **V4-Flash auf einer einzelnen H100 / A100 80GB:** ```yaml version: "3.8" services: vllm: image: vllm/vllm-openai:latest ports: - "8000:8000" volumes: - hf_cache:/root/.cache/huggingface command: > --model deepseek-ai/DeepSeek-V4-Flash --tensor-parallel-size 1 --max-model-len 131072 --dtype bfloat16 --gpu-memory-utilization 0.92 --enable-chunked-prefill --served-model-name deepseek-v4-flash --trust-remote-code deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] shm_size: "16gb" volumes: hf_cache: ``` **V4-Pro auf 8× H100 80GB:** ersetze den Befehl durch: ```yaml command: > --model deepseek-ai/DeepSeek-V4-Pro --tensor-parallel-size 8 --max-model-len 262144 --dtype bfloat16 --gpu-memory-utilization 0.90 --enable-chunked-prefill --enable-prefix-caching --served-model-name deepseek-v4-pro --trust-remote-code ``` ```bash # API testen curl http://localhost:8000/v1/chat/completions \\ -H "Content-Type: application/json" \\ -d '{ "model": "deepseek-v4-flash", "messages": [{"role": "user", "content": "Schreibe einen asynchronen Rust-TCP-Echo-Server mit sauberem Herunterfahren."}], "max_tokens": 2048, "temperature": 0.6 }' ``` {% hint style="info" %} Beginne mit `--max-model-len 131072` auch wenn du letztlich den vollen 1M-Kontext willst — lange Kontexte erhöhen die Prefill-Zeit und den KV-Speicher drastisch. Erhöhe ihn erst, wenn die Basis stabil ist. {% endhint %} *** ## Option C — SGLang (Alternative, oft schneller auf Hopper) SGLangs RadixAttention und Prefix-Caching passen gut zu V4s hybrider Attention — bei agentischen Workloads mit gemeinsamen Prompts kannst du mit spürbar besserem tok/s als bei vLLM rechnen. ```bash docker pull lmsysorg/sglang:latest # V4-Flash auf 1× H100/A100 python3 -m sglang.launch_server \ --model-path deepseek-ai/DeepSeek-V4-Flash \\ --tp-size 1 \\ --context-length 131072 \ --mem-fraction-static 0.90 \\ --enable-torch-compile \\ --served-model-name deepseek-v4-flash \\ --trust-remote-code # V4-Pro auf 8× H100 python3 -m sglang.launch_server \ --model-path deepseek-ai/DeepSeek-V4-Pro \\ --tp-size 8 \\ --context-length 262144 \\ --mem-fraction-static 0.88 \\ --enable-torch-compile \\ --served-model-name deepseek-v4-pro \\ --trust-remote-code ``` SGLangs `--enable-torch-compile` fügt nach dem ersten Warmup auf Hopper typischerweise weitere 10–20 % Durchsatz hinzu. *** ## GPU-Empfehlungen für Clore.ai | Einrichtung | Modell | VRAM | Erwarteter Durchsatz | Clore.ai-Kosten | | ---------------------------------------------------------- | ----------------------------------------------- | ----------- | ------------------------------------------------- | ----------------------------------------- | | 2× [RTX 4090](https://clore.ai/rent-4090.html) (Q4 GGUF) | V4-Flash | 48GB | Hobbynutzung, Einzel-Stream | ca. 0,14–0,42 $/h | | 1× [A100 80GB](https://clore.ai/rent-a100-80gb.html) (FP8) | V4-Flash | 80 GB | Solider produktiver Single-Tenant | [Bare Metal](https://clore.ai/bare-metal) | | 1× RTX 5090 32GB (Q4 GGUF, teilweiser Offload) | V4-Flash | 32 GB + RAM | Eingeschränkt, nur für Entwicklung | 0,25–0,77 $/Std. Spitze | | 4× [H100 80 GB](https://clore.ai/rent-h100.html) | V4-Flash FP8 (überdimensioniert) oder V4-Pro Q4 | 320 GB | Flash für mehrere Mandanten, Pro im Single-Stream | \~$1.04/hr | | 8× [H100 80 GB](https://clore.ai/rent-h100.html) | V4-Pro BF16 | 640GB | Produktive Frontier-Inferenz | \~$1.04/hr | | 4× [H200 141GB](https://clore.ai/rent-h200.html) | V4-Pro BF16 + 1M Kontext | 564 GB | Voller 1M-Kontext, maximale Leistung | [Bare Metal](https://clore.ai/bare-metal) | {% hint style="success" %} **Bestes Preis-Leistungs-Verhältnis auf Clore.ai:** 1× A100 80GB, die V4-Flash FP8 ausführt. Du bekommst 256K Kontext, etwa 13B aktive Inferenzkosten, keinen Quantisierungsverlust, und die Rechnung liegt ungefähr auf dem Niveau eines Claude-Sonnet-API-Abos — mit Gewichten, die auf deiner Maschine bleiben. {% endhint %} *** ## Anwendungsfälle * **Reasoning über die gesamte Codebasis** — V4-Pro mit 1M Kontext passt in ein typisches Monorepo mit 500K LOC plus dessen Tests in einen einzigen Prompt * **RAG in Langform** — ganze Bücher, Gerichtsakten oder Jahresberichte in den Kontext laden, die Chunking-Pipeline überspringen * **Agentisches Coding** — V4-Flash erreicht auf SWE-Bench V3-Niveau zu einem Bruchteil der Inferenzkosten; kombiniere es mit SWE-agent oder OpenHands * **Synthese mehrerer Dokumente** — Forschungs-Workflows, für die früher Gemini 2.5 Pro nötig war, laufen jetzt auf deiner eigenen Hardware * **Selbst gehosteter Ersatz für Cursor / Copilot** — V4-Flash auf einem einzelnen A100 sättigt ein 5-Entwickler-Team * **Basis für Feintuning** — MIT-Lizenz + saubere MoE-Architektur machen es zu einem starken Ausgangspunkt für domänenspezifische Feintunings *** ## Benchmarks {% hint style="warning" %} **Vom Anbieter behauptet — unabhängig prüfen.** Die Zahlen unten stammen aus DeepSeeks Ankündigung vom 22. April 2026 und der Model Card. Unabhängige Reproduktionen werden noch veröffentlicht; betrachte sie als grobe Orientierung, nicht als Evangelium. {% endhint %} | Benchmark | V4-Pro | V4-Flash | DeepSeek V3 | GLM-5.1 | | ----------------------------------- | ------ | -------- | ----------- | ------- | | MMLU-Pro | \~84% | \~78% | \~76% | \~80% | | SWE-Bench Verified | \~82% | \~74% | \~70% | \~79% | | HumanEval | \~96% | \~92% | \~91% | \~94% | | MATH-500 | \~94% | \~88% | \~85% | \~90% | | LiveCodeBench | \~76% | \~68% | \~62% | \~72% | | Langkontext (1M Nadel-im-Heuhaufen) | \~98% | n/v | n/v | n/v | Für einen direkten Open-Weight-Vergleich siehe den [GLM-5.1-Leitfaden](/guides/guides_v2-de/sprachmodelle/glm-5-1.md) — V4-Pro und GLM-5.1 liefern sich je nach Benchmark ein Kopf-an-Kopf-Rennen. *** ## Fehlerbehebung | Problem | Lösung | | ------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | `OutOfMemoryError` V4-Pro auf 8×H100 laden | BF16 braucht etwa 3,2 TB — Pro passt nicht auf einen einzelnen 8×H100-Knoten. Verwende 4× H200 141GB oder Multi-Node. | | `nicht unterstütztes Attention-Backend` | V4 benötigt vLLM ≥ 0.7.0 oder SGLang ≥ 0.4.4. Ausführen `pip install -U vllm` (oder ziehe `:latest` Docker-Image). | | Langsamer HuggingFace-Download | Verwende `huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./weights --resume-download`. Pro ist etwa 3,2 TB groß; Flash ist etwa 570 GB groß. | | `--trust-remote-code` abgelehnt | Die hybriden Attention-Module werden als benutzerdefinierter Code im Repo ausgeliefert — `--trust-remote-code` ist für beide Engines erforderlich, bis die Kernel in den Upstream-Transformers gelandet sind. | | GGUF Q4 gibt wirres Zeug aus | Stell sicher, dass du den Unsloth-Build verwendest (`unsloth/DeepSeek-V4-Flash-GGUF`), nicht einen frühen Community-Quant. Der MoE-Router braucht eine spezielle Behandlung, die frühe Quants falsch gemacht haben. | | 1M-Kontext führt bei V4-Pro zu OOM | Reduziere auf `--max-model-len 262144` und füge `--enable-prefix-caching`. Echte 1M-Bereitstellung braucht H200 oder B200. | | Langsames Prefill bei langem Kontext | Das ist zu erwarten — selbst mit hybrider Attention dauert ein Prefill von 500K+ Minuten, nicht Sekunden. Verwende `--enable-chunked-prefill` und Prefix-Caching, um die Kosten zu verteilen. | *** ## Nächste Schritte * **Vorgänger:** [DeepSeek V3](/guides/guides_v2-de/sprachmodelle/deepseek-v3.md) — das Modell, das V4-Flash effektiv ersetzt * **Reasoning-Geschwistermodell:** [DeepSeek-R1](/guides/guides_v2-de/sprachmodelle/deepseek-r1.md) — auf Chain-of-Thought getunt, weiterhin nützlich für mathematisch schwere Workflows * **Open-Weight-Alternative:** [GLM-5.1](/guides/guides_v2-de/sprachmodelle/glm-5-1.md) — 744B MoE, Spitze bei SWE-Bench Pro, vergleichbare Preis-Leistung * **Multimodale Alternative:** [Qwen3.5-Omni](/guides/guides_v2-de/sprachmodelle/qwen35-omni.md) — wenn du Vision/Audio im selben Modell brauchst * **Hardware mieten:** [Clore.ai-Marktplatz](https://clore.ai/marketplace) — H100/H200/A100/RTX 4090 ab 0,14–0,42 $/Std. ### Links * [DeepSeek-V4-Pro auf HuggingFace](https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro) * [DeepSeek-V4-Flash auf HuggingFace](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) * [Unsloth V4-Flash GGUF-Quants](https://huggingface.co/unsloth/DeepSeek-V4-Flash-GGUF) * [DeepSeek GitHub](https://github.com/deepseek-ai) * [vLLM-Dokumentation](https://docs.vllm.ai) * [SGLang-Repo](https://github.com/sgl-project/sglang) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/deepseek-v4.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.