> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/hy3-preview.md). # Hy3-Vorschau (Tencent Hunyuan 3, 295B MoE) Deploye Tencents Hy3-Vorschau (295B MoE, 21B aktiv, 256K ctx) auf Clore.ai — das erste Modell aus Tencents neu aufgebautem Hunyuan-Trainingsstack, abgestimmt auf langfristiges Reasoning und agentisches Programmieren {% hint style="info" %} **Status (April 2026):** Hy3 Preview ist die erste öffentliche Veröffentlichung aus **Tencents neu aufgebauter Trainingsinfrastruktur**, veröffentlicht am **13. April 2026** und zuletzt aktualisiert am **23. April 2026**. Die Gewichte befinden sich unter [huggingface.co/tencent/Hy3-preview](https://huggingface.co/tencent/Hy3-preview) unter der **Tencent Hy Community License**. Tag-0-Support ist in vLLM und SGLang verfügbar. {% endhint %} Hy3 Preview ist ein **295B-Parameter Mixture-of-Experts** Sprachmodell, das nur **\~21B Parameter pro Token** aktiviert (192 Experten, top-8 geroutet). Es zielt auf zwei Workloads ab, bei denen Tencent sichtbar aufgeholt hat: **langfristiges Schlussfolgern** (FrontierScience-Olympiad, IMOAnswerBench, Mathematik-PhD-Prüfungen) und **agentisches Programmieren** (SWE-bench Verified 74.4 %, Terminal-Bench 2.0 54.4 %, vom Anbieter behauptet). Das 256K-Kontextfenster plus eine MTP-Schicht (Multi-Token Prediction) für spekulatives Decoding machen es praktisch für Coding-Agents im IDE-Maßstab und dokumentlastiges RAG. Für Clore.ai-Nutzer ist die zentrale Zahl **21B aktiv**. Sie brauchen kein vollständiges 8×H200-Rack. Eine Tensor-Parallel-Implementierung über **4×A100 80GB** oder **2×H100 80GB** (BF16 mit Offload) reicht aus, um es mit brauchbarem Durchsatz bereitzustellen — agentisches Programmieren auf Frontier-Niveau für ca. 2,08 $/h auf dem Marktplatz, wobei die Gewichte auf Ihrer eigenen Maschine bleiben. ### Wichtige Spezifikationen | Eigenschaft | Wert | | ---------------------- | ------------------------------------------- | | Gesamtparameter | 295B (MoE) | | Aktive Parameter | 21B pro Vorwärtsdurchlauf | | Experten | insgesamt 192, top-8 geroutet | | Schichten | 80 Transformer + 1 MTP | | Attention | 64 Köpfe, GQA mit 8 KV-Köpfen, Kopf-Dim 128 | | Versteckte Größe | 4096 | | Zwischengröße | 13,312 | | Vokabular | 120,832 | | Kontextfenster | 256.000 Tokens | | Native Präzision | BF16 | | Lizenz | Tencent Hy Community License | | Veröffentlichungsdatum | 13. April 2026 | | Organisation | Tencent Hunyuan | | Primäre Tools | vLLM, SGLang, AngelSlim, LLaMA-Factory | ### Warum Hy3 Preview? * **Erstes Modell auf Tencents neu aufgebautem RL-Stack** — Tencent hat seine Trainingsinfrastruktur für diese Veröffentlichung neu geschrieben; erwarten Sie bis 2026 schnelle Iterationen * **21B aktives MoE** — zahlen Sie die Inferenzkosten eines \~21B dichten Modells, nicht 295B * **256K Kontext** — genug für komplette Repos, lange Agent-Spuren oder Multi-Dokument-RAG auf einmal * **MTP-Spekulationsschicht** — integrierte Multi-Token-Vorhersage liefert auf Hopper-GPUs etwa 1,5–2× schnellere Decodes * **Zwei Denkmodi** — `reasoning_effort: "high"` für Chain-of-Thought, `"no_think"` für schnelle direkte Antworten * **Fokus auf agentisches Programmieren** — explizit für SWE-bench-ähnliche mehrstufige Tool-Nutzung und Terminal-Agents optimiert * **Lizenz mit Open-Source-Freundlichkeit** — die Tencent Hy Community License ist für die meisten Zwecke Apache-ähnlich; prüfen Sie für Ihren Fall die LICENSE-Datei *** ## Anforderungen {% hint style="warning" %} **Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet.** Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als [Bare Metal](https://clore.ai/bare-metal) auf Anfrage verkauft. Prüfe [GPU-Preise & Verfügbarkeit](/guides/guides_v2-de/erste-schritte/pricing.md) bevor du eine Bereitstellung dimensionierst. {% endhint %} {% hint style="warning" %} **Trotzdem ein Modell der 295B-Klasse.** "21B aktiv" beschreibt den Inferenz-Compute, nicht den Speicherbedarf. Die vollständigen BF16-Gewichte sind \~590GB groß und müssen in VRAM liegen (oder ausgelagert werden). Planen Sie 8×H100/H200 ein, wenn Sie uneingeschränkten Durchsatz wollen; 4×A100 80GB funktionieren mit Offload und kürzeren Kontexten. {% endhint %} | Komponente | Minimum (Q4 GGUF, Offload) | Empfohlen (BF16, TP) | Vollständiges BF16 (Produktion) | | ---------- | -------------------------- | -------------------- | ------------------------------- | | GPU-VRAM | \~80GB + 256GB RAM-Offload | 4× A100 80GB (320GB) | 8× H100 80GB oder 8× H20-3e | | RAM | 256 GB | 384GB | 512 GB | | Festplatte | 700GB NVMe | 1TB NVMe | 1,5 TB NVMe | | CUDA | 12.8+ | 12.8+ | 12.8+ | | Treiber | 550+ | 550+ | 560+ | **Hardware-Fit:** Für die meisten Teams ist **4× A100 80GB** mit BF16-Tensor-Parallelität und `--max-model-len 65536` der Sweet Spot ([Bare Metal](https://clore.ai/bare-metal)). Wenn Sie den vollen 256K-Kontext mit gleichzeitigen Nutzern benötigen, wechseln Sie zu 8× H100. *** ## Option A — Ollama / GGUF (quantisiert, Community-Builds) {% hint style="warning" %} **Hinweis:** Hy3 Preview ist brandneu (13. April 2026) und verwendet eine eigene MoE-Architektur. Community-Unterstützung in llama.cpp / GGUF landet typischerweise **2–4 Wochen** nach Veröffentlichung. Wenn Sie es heute brauchen, verwenden Sie vLLM (Option B). Prüfen Sie [huggingface.co/models?search=hy3-preview+gguf](https://huggingface.co/models?search=hy3-preview+gguf) nach Community-Quants, bevor Sie etwas herunterladen. {% endhint %} ```bash # Sobald ein Q4_K_M-Build veröffentlicht ist docker exec ollama ollama pull hy3-preview:q4_K_M docker exec ollama ollama run hy3-preview:q4_K_M # Oder direkt mit llama.cpp auf einem Community-GGUF docker run --gpus all -it --rm -p 8080:8080 \\ -v $(pwd)/models:/models \\ ghcr.io/ggerganov/llama.cpp:server-cuda \\ -m /models/hy3-preview-q4_k_m.gguf \ --n-gpu-layers 80 --ctx-size 32768 \ --port 8080 --host 0.0.0.0 ``` In der Zeit vor GGUF kann AngelSlim (Tencents eigenes Quantisierungs-Toolkit) W4A16- / W8A8-Gewichte direkt aus dem BF16-Checkpoint erzeugen. *** ## Option B — vLLM (Produktions-API, empfohlen) vLLM ist Tencents bevorzugtes Serving-Ziel für Hy3 Preview. Die MTP-Spekulationsschicht ist eingebunden über `--speculative-config.method mtp`. ```yaml version: "3.8" services: vllm: image: vllm/vllm-openai:latest ports: - "8000:8000" volumes: - hf_cache:/root/.cache/huggingface command: > --model tencent/Hy3-preview --tensor-parallel-size 8 --max-model-len 65536 --gpu-memory-utilization 0.90 --speculative-config.method mtp --speculative-config.num_speculative_tokens 1 --tool-call-parser hy_v3 --reasoning-parser hy_v3 --enable-auto-tool-choice --served-model-name hy3-preview --trust-remote-code deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] shm_size: "16gb" volumes: hf_cache: ``` ```bash # Testen Sie die API mit hoher Reasoning-Effort curl http://localhost:8000/v1/chat/completions \\ -H "Content-Type: application/json" \\ -d '{ "model": "hy3-preview", "messages": [ {"role": "system", "content": "Sie sind ein erfahrener Softwareentwickler."}, {"role": "user", "content": "Refaktorisieren Sie diese Python-Funktion, um async/await zu verwenden, und fügen Sie eine ordentliche Fehlerbehandlung hinzu."} ], "max_tokens": 4096, "temperature": 0.9, "top_p": 1.0, "reasoning_effort": "high" }' ``` {% hint style="info" %} **Reasoning-Modi.** Setze `reasoning_effort: "high"` um Chain-of-Thought-Spuren zu aktivieren (langsamer, deutlich besser bei Mathematik-/Coding-/Agent-Aufgaben) oder `"no_think"` für schnelle direkte Antworten. Das vom Anbieter empfohlene Sampling ist `temperature=0.9, top_p=1.0` — Zero-Temp-Sampling kann Reasoning-Spuren beschädigen. {% endhint %} {% hint style="info" %} **Knapp bei GPUs?** Reduziere auf `--tensor-parallel-size 4` auf 4× A100 80GB. Behalten Sie `--max-model-len 32768` und füge `--enable-chunked-prefill` bei, um die Prefill-Latenz vernünftig zu halten. {% endhint %} *** ## Option C — SGLang SGLang bringt Tag-0-Support mit und kombiniert die MTP-Schicht mit EAGLE spekulativem Decoding für zusätzlichen Durchsatz auf Hopper. ```bash docker pull lmsysorg/sglang:latest python3 -m sglang.launch_server \ --model tencent/Hy3-preview \ --tp 8 \ --tool-call-parser hunyuan \ --reasoning-parser hunyuan \ --speculative-algorithm EAGLE \\ --speculative-num-steps 1 \ --speculative-eagle-topk 1 \\ --speculative-num-draft-tokens 2 \ --mem-fraction-static 0.88 \\ --context-length 65536 \\ --served-model-name hy3-preview ``` Erwarten Sie einen 1,5–2× höheren Durchsatz bei langen Agent-Schleifen im Vergleich zum normalen Decode. *** ## GPU-Empfehlungen für Clore.ai | Einrichtung | VRAM | Erwartete Leistung | Clore.ai-Kosten | Mieten | | -------------- | -------- | -------------------------------------------------- | ----------------------------------------- | ---------------------------------------------- | | 4× A100 80GB | 320 GB | BF16 geshardet, 64K Kontext, \~15–25 Tok/s | [Bare Metal](https://clore.ai/bare-metal) | [Bare Metal](https://clore.ai/bare-metal) | | 2× H100 80GB | 160GB | BF16 mit Offload, kleinerer Kontext, \~12–20 Tok/s | \~2,08 $/h | [H100 mieten](https://clore.ai/rent-h100.html) | | 8× H100 80 GB | 640GB | BF16 komplett, 256K Kontext, 60+ Tok/s mit MTP | \~8,32 $/h | [H100 mieten](https://clore.ai/rent-h100.html) | | 8× H200 141 GB | 1.128 GB | BF16 komplett + maximale Parallelität | [Bare Metal](https://clore.ai/bare-metal) | [Bare Metal](https://clore.ai/bare-metal) | | 1× RTX 5090 | 32 GB | Q4 GGUF, RAM-Offload, Einzelbenutzer | 0,25–0,77 $/Std. | [Marktplatz](https://clore.ai/marketplace) | {% hint style="success" %} **Beste Wahl:** 4× A100 80GB mit BF16-Tensor-Parallelität und einem 64K-Kontextfenster, verfügbar als [Bare Metal](https://clore.ai/bare-metal) statt als Marktplatz-Miete. Sie erhalten einen offenen 295B-Klassen-Agentic-Coder für ungefähr den Preis eines Claude-Pro-Abonnements, und die Gewichte verlassen niemals Ihre gemietete Maschine. {% endhint %} *** ## Anwendungsfälle * **Autonome SWE-Agents** — 74,4 % SWE-bench Verified (vom Anbieter behauptet) und explizite Optimierung für lange Tool-Call-Schleifen; kombinieren Sie es mit OpenHands, SWE-agent oder Aider * **Terminal-gesteuerte Agents** — 54,4 % Terminal-Bench 2.0 bringen es in die oberste Liga für Shell-/CLI-Workflows * **Langfristiges Schlussfolgern** — Mathematik auf Olympiade-Niveau (IMOAnswerBench, FrontierScience-Olympiad) und STEM auf PhD-Niveau * **RAG auf Codebasis-Größe** — 256K Kontext passt ein komplettes mittelgroßes Repo plus Tests in einen einzigen Prompt * **Such- und Browsing-Agents** — Dank BrowseComp / WideSearch-Tuning ein starker Planer für mehrstufige Webrecherche * **Agenten von Agenten** — verwenden Sie Hy3 Preview als Planer und leichtere Open-Modelle ([Qwen3.5](/guides/guides_v2-de/sprachmodelle/qwen35.md), [GLM-4.7 Flash](/guides/guides_v2-de/sprachmodelle/glm-47-flash.md)) als Worker *** ## Benchmarks {% hint style="warning" %} **Vom Anbieter behauptet — unabhängig prüfen.** Alle untenstehenden Zahlen stammen aus Tencents Modellkarte vom 13. April 2026. Unabhängige Reproduktionen (insbesondere auf SWE-bench Verified) treffen weiterhin ein. Behandeln Sie sie bis zur Bestätigung durch LMSYS / OpenCompass als Obergrenzen. {% endhint %} | Benchmark | Hy3 Preview | GLM-5.1 | DeepSeek R1 | GPT-5.4 | | ------------------ | ----------- | ------- | ----------- | ------- | | SWE-bench Verified | **74.4%** | \~79% | \~71% | \~78% | | Terminal-Bench 2.0 | **54.4%** | — | — | — | | GPQA Diamond | **87.2%** | — | \~84% | \~88% | | SuperGPQA | 51.6% | — | — | — | | HLE | \~30 | — | — | — | Tencent berichtet außerdem starke Ergebnisse bei proprietären CL-bench- / CL-bench-Life-Kontextlern-Benchmarks und der Tsinghua Qiuzhen Math PhD-Prüfung (Frühjahr 2026). *** ## Fehlerbehebung | Problem | Lösung | | ---------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | `OutOfMemoryError` beim Laden | BF16 benötigt insgesamt \~590GB VRAM. Reduzieren Sie auf 4×A100 mit `--max-model-len 32768` oder verwenden Sie AngelSlim W4A16-Quants. | | Langsamer HuggingFace-Download | Verwende `huggingface-cli download tencent/Hy3-preview --local-dir ./weights --resume-download`. Rechnen Sie mit 590GB+. | | Tool-Calls stillschweigend verworfen | Stellen Sie sicher, dass `--tool-call-parser hy_v3` (vLLM) oder `--tool-call-parser hunyuan` (SGLang) gesetzt ist und `--enable-auto-tool-choice` aktiviert ist. | | Reasoning-Spur leer / falsch | Verwende `temperature=0.9, top_p=1.0`. Zero-Temp-Greedy-Decoding bricht die Chain-of-Thought. Bestätigen Sie `reasoning_effort: "high"`. | | Fehler beim MTP-spekuativen Decoding | Erfordert ein aktuelles vLLM (Build nach April 2026). Führen Sie `pip install -U vllm --pre` aus oder pinnen Sie auf ein Tag, das `mtp` in den Release Notes aufführt. | | 256K-Kontext OOMs | Beginnen Sie bei `--max-model-len 32768`, aktivieren Sie `--enable-chunked-prefill`, erhöhen Sie schrittweise. Der volle 256K-Kontext benötigt realistisch 8× H200. | | Benutzerdefinierte Architektur abgelehnt | Immer `--trust-remote-code`. Hy3 liefert eigenen Modellierungscode zusammen mit dem Checkpoint. | | Ollama / GGUF nicht verfügbar | Community-Quants kommen typischerweise 2–4 Wochen nach Veröffentlichung an. Verwenden Sie bis dahin vLLM oder AngelSlim. | *** ## Nächste Schritte * **Nächstliegender Open-Weight-Peer:** [GLM-5.1](/guides/guides_v2-de/sprachmodelle/glm-5-1.md) — 744B / 40B-aktives MoE, MIT-Lizenz, Top-SWE-bench-Pro-Ergebnisse * **Multimodale Alternative:** [Qwen3.5-Omni](/guides/guides_v2-de/sprachmodelle/qwen35-omni.md) — Text + Audio + Bild + Video, läuft auf einer einzelnen RTX 4090 * **Nur-Reasoning-Alternative:** [DeepSeek R1](/guides/guides_v2-de/sprachmodelle/deepseek-r1.md) — reiner Spezialist für langes, freies Schlussfolgern * **Hardware mieten:** [A100 80GB als Bare Metal](https://clore.ai/bare-metal) — 4× A100 80GB-Instanzen von [Bare Metal](https://clore.ai/bare-metal) * **Vollständiger Marktplatz:** [clore.ai/marketplace](https://clore.ai/marketplace) — H100, H200, A100, RTX 5090 ab 0,25–0,77 $/h ### Links * [Hy3 Preview auf HuggingFace](https://huggingface.co/tencent/Hy3-preview) * [Hy3 Preview GitHub-Repository](https://github.com/Tencent-Hunyuan/Hy3-preview) * [Tencent Hunyuan Organisation](https://huggingface.co/tencent) * [vLLM-Dokumentation](https://docs.vllm.ai) * [SGLang-Repo](https://github.com/sgl-project/sglang) * [AngelSlim — Tencents Quantisierungs-Toolkit](https://github.com/Tencent/AngelSlim) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-de/sprachmodelle/hy3-preview.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.