Hy3-Vorschau (Tencent Hunyuan 3, 295B MoE)

Deploye Tencents Hy3-Vorschau (295B MoE, 21B aktiv, 256K ctx) auf Clore.ai — das erste Modell aus Tencents neu aufgebautem Hunyuan-Trainingsstack, abgestimmt auf langfristiges Reasoning und agentisches Programmieren

Status (April 2026): Hy3 Preview ist die erste öffentliche Veröffentlichung aus Tencents neu aufgebauter Trainingsinfrastruktur, veröffentlicht am 13. April 2026 und zuletzt aktualisiert am 23. April 2026. Die Gewichte befinden sich unter huggingface.co/tencent/Hy3-preview unter der Tencent Hy Community License. Tag-0-Support ist in vLLM und SGLang verfügbar.

Hy3 Preview ist ein 295B-Parameter Mixture-of-Experts Sprachmodell, das nur ~21B Parameter pro Token aktiviert (192 Experten, top-8 geroutet). Es zielt auf zwei Workloads ab, bei denen Tencent sichtbar aufgeholt hat: langfristiges Schlussfolgern (FrontierScience-Olympiad, IMOAnswerBench, Mathematik-PhD-Prüfungen) und agentisches Programmieren (SWE-bench Verified 74.4 %, Terminal-Bench 2.0 54.4 %, vom Anbieter behauptet). Das 256K-Kontextfenster plus eine MTP-Schicht (Multi-Token Prediction) für spekulatives Decoding machen es praktisch für Coding-Agents im IDE-Maßstab und dokumentlastiges RAG.

Für Clore.ai-Nutzer ist die zentrale Zahl 21B aktiv. Sie brauchen kein vollständiges 8×H200-Rack. Eine Tensor-Parallel-Implementierung über 4×A100 80GB oder 2×H100 80GB (BF16 mit Offload) reicht aus, um es mit brauchbarem Durchsatz bereitzustellen — agentisches Programmieren auf Frontier-Niveau für ca. 2,08 $/h auf dem Marktplatz, wobei die Gewichte auf Ihrer eigenen Maschine bleiben.

Wichtige Spezifikationen

Eigenschaft	Wert
Gesamtparameter	295B (MoE)
Aktive Parameter	21B pro Vorwärtsdurchlauf
Experten	insgesamt 192, top-8 geroutet
Schichten	80 Transformer + 1 MTP
Attention	64 Köpfe, GQA mit 8 KV-Köpfen, Kopf-Dim 128
Versteckte Größe	4096
Zwischengröße	13,312
Vokabular	120,832
Kontextfenster	256.000 Tokens
Native Präzision	BF16
Lizenz	Tencent Hy Community License
Veröffentlichungsdatum	13. April 2026
Organisation	Tencent Hunyuan
Primäre Tools	vLLM, SGLang, AngelSlim, LLaMA-Factory

Warum Hy3 Preview?

• Erstes Modell auf Tencents neu aufgebautem RL-Stack — Tencent hat seine Trainingsinfrastruktur für diese Veröffentlichung neu geschrieben; erwarten Sie bis 2026 schnelle Iterationen

• 21B aktives MoE — zahlen Sie die Inferenzkosten eines ~21B dichten Modells, nicht 295B

• 256K Kontext — genug für komplette Repos, lange Agent-Spuren oder Multi-Dokument-RAG auf einmal

• MTP-Spekulationsschicht — integrierte Multi-Token-Vorhersage liefert auf Hopper-GPUs etwa 1,5–2× schnellere Decodes

• Zwei Denkmodi — reasoning_effort: "high" für Chain-of-Thought, "no_think" für schnelle direkte Antworten

• Fokus auf agentisches Programmieren — explizit für SWE-bench-ähnliche mehrstufige Tool-Nutzung und Terminal-Agents optimiert

• Lizenz mit Open-Source-Freundlichkeit — die Tencent Hy Community License ist für die meisten Zwecke Apache-ähnlich; prüfen Sie für Ihren Fall die LICENSE-Datei

---

Anforderungen

Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet. Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als Bare Metal auf Anfrage verkauft. Prüfe GPU-Preise & Verfügbarkeit bevor du eine Bereitstellung dimensionierst.

Trotzdem ein Modell der 295B-Klasse. "21B aktiv" beschreibt den Inferenz-Compute, nicht den Speicherbedarf. Die vollständigen BF16-Gewichte sind ~590GB groß und müssen in VRAM liegen (oder ausgelagert werden). Planen Sie 8×H100/H200 ein, wenn Sie uneingeschränkten Durchsatz wollen; 4×A100 80GB funktionieren mit Offload und kürzeren Kontexten.

Komponente	Minimum (Q4 GGUF, Offload)	Empfohlen (BF16, TP)	Vollständiges BF16 (Produktion)
GPU-VRAM	~80GB + 256GB RAM-Offload	4× A100 80GB (320GB)	8× H100 80GB oder 8× H20-3e
RAM	256 GB	384GB	512 GB
Festplatte	700GB NVMe	1TB NVMe	1,5 TB NVMe
CUDA	12.8+	12.8+	12.8+
Treiber	550+	550+	560+

Hardware-Fit: Für die meisten Teams ist 4× A100 80GB mit BF16-Tensor-Parallelität und --max-model-len 65536 der Sweet Spot (Bare Metal). Wenn Sie den vollen 256K-Kontext mit gleichzeitigen Nutzern benötigen, wechseln Sie zu 8× H100.

---

Option A — Ollama / GGUF (quantisiert, Community-Builds)

Hinweis: Hy3 Preview ist brandneu (13. April 2026) und verwendet eine eigene MoE-Architektur. Community-Unterstützung in llama.cpp / GGUF landet typischerweise 2–4 Wochen nach Veröffentlichung. Wenn Sie es heute brauchen, verwenden Sie vLLM (Option B). Prüfen Sie huggingface.co/models?search=hy3-preview+gguf nach Community-Quants, bevor Sie etwas herunterladen.

# Sobald ein Q4_K_M-Build veröffentlicht ist
docker exec ollama ollama pull hy3-preview:q4_K_M
docker exec ollama ollama run hy3-preview:q4_K_M

# Oder direkt mit llama.cpp auf einem Community-GGUF
docker run --gpus all -it --rm -p 8080:8080 \\
  -v $(pwd)/models:/models \\
  ghcr.io/ggerganov/llama.cpp:server-cuda \\
  -m /models/hy3-preview-q4_k_m.gguf \
  --n-gpu-layers 80 --ctx-size 32768 \
  --port 8080 --host 0.0.0.0

In der Zeit vor GGUF kann AngelSlim (Tencents eigenes Quantisierungs-Toolkit) W4A16- / W8A8-Gewichte direkt aus dem BF16-Checkpoint erzeugen.

---

Option B — vLLM (Produktions-API, empfohlen)

vLLM ist Tencents bevorzugtes Serving-Ziel für Hy3 Preview. Die MTP-Spekulationsschicht ist eingebunden über --speculative-config.method mtp.

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model tencent/Hy3-preview
      --tensor-parallel-size 8
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --speculative-config.method mtp
      --speculative-config.num_speculative_tokens 1
      --tool-call-parser hy_v3
      --reasoning-parser hy_v3
      --enable-auto-tool-choice
      --served-model-name hy3-preview
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# Testen Sie die API mit hoher Reasoning-Effort
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "hy3-preview",
    "messages": [
      {"role": "system", "content": "Sie sind ein erfahrener Softwareentwickler."},
      {"role": "user", "content": "Refaktorisieren Sie diese Python-Funktion, um async/await zu verwenden, und fügen Sie eine ordentliche Fehlerbehandlung hinzu."}
    ],
    "max_tokens": 4096,
    "temperature": 0.9,
    "top_p": 1.0,
    "reasoning_effort": "high"
  }'

Reasoning-Modi. Setze reasoning_effort: "high" um Chain-of-Thought-Spuren zu aktivieren (langsamer, deutlich besser bei Mathematik-/Coding-/Agent-Aufgaben) oder "no_think" für schnelle direkte Antworten. Das vom Anbieter empfohlene Sampling ist temperature=0.9, top_p=1.0 — Zero-Temp-Sampling kann Reasoning-Spuren beschädigen.

Knapp bei GPUs? Reduziere auf --tensor-parallel-size 4 auf 4× A100 80GB. Behalten Sie --max-model-len 32768 und füge --enable-chunked-prefill bei, um die Prefill-Latenz vernünftig zu halten.

---

Option C — SGLang

SGLang bringt Tag-0-Support mit und kombiniert die MTP-Schicht mit EAGLE spekulativem Decoding für zusätzlichen Durchsatz auf Hopper.

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \
  --model tencent/Hy3-preview \
  --tp 8 \
  --tool-call-parser hunyuan \
  --reasoning-parser hunyuan \
  --speculative-algorithm EAGLE \\
  --speculative-num-steps 1 \
  --speculative-eagle-topk 1 \\
  --speculative-num-draft-tokens 2 \
  --mem-fraction-static 0.88 \\
  --context-length 65536 \\
  --served-model-name hy3-preview

Erwarten Sie einen 1,5–2× höheren Durchsatz bei langen Agent-Schleifen im Vergleich zum normalen Decode.

---

GPU-Empfehlungen für Clore.ai

Einrichtung	VRAM	Erwartete Leistung	Clore.ai-Kosten	Mieten
4× A100 80GB	320 GB	BF16 geshardet, 64K Kontext, ~15–25 Tok/s	Bare Metal	Bare Metal
2× H100 80GB	160GB	BF16 mit Offload, kleinerer Kontext, ~12–20 Tok/s	~2,08 $/h	H100 mieten
8× H100 80 GB	640GB	BF16 komplett, 256K Kontext, 60+ Tok/s mit MTP	~8,32 $/h	H100 mieten
8× H200 141 GB	1.128 GB	BF16 komplett + maximale Parallelität	Bare Metal	Bare Metal
1× RTX 5090	32 GB	Q4 GGUF, RAM-Offload, Einzelbenutzer	0,25–0,77 $/Std.	Marktplatz

Beste Wahl: 4× A100 80GB mit BF16-Tensor-Parallelität und einem 64K-Kontextfenster, verfügbar als Bare Metal statt als Marktplatz-Miete. Sie erhalten einen offenen 295B-Klassen-Agentic-Coder für ungefähr den Preis eines Claude-Pro-Abonnements, und die Gewichte verlassen niemals Ihre gemietete Maschine.

---

Anwendungsfälle

• Autonome SWE-Agents — 74,4 % SWE-bench Verified (vom Anbieter behauptet) und explizite Optimierung für lange Tool-Call-Schleifen; kombinieren Sie es mit OpenHands, SWE-agent oder Aider

• Terminal-gesteuerte Agents — 54,4 % Terminal-Bench 2.0 bringen es in die oberste Liga für Shell-/CLI-Workflows

• Langfristiges Schlussfolgern — Mathematik auf Olympiade-Niveau (IMOAnswerBench, FrontierScience-Olympiad) und STEM auf PhD-Niveau

• RAG auf Codebasis-Größe — 256K Kontext passt ein komplettes mittelgroßes Repo plus Tests in einen einzigen Prompt

• Such- und Browsing-Agents — Dank BrowseComp / WideSearch-Tuning ein starker Planer für mehrstufige Webrecherche

• Agenten von Agenten — verwenden Sie Hy3 Preview als Planer und leichtere Open-Modelle (Qwen3.5, GLM-4.7 Flash) als Worker

---

Benchmarks

Vom Anbieter behauptet — unabhängig prüfen. Alle untenstehenden Zahlen stammen aus Tencents Modellkarte vom 13. April 2026. Unabhängige Reproduktionen (insbesondere auf SWE-bench Verified) treffen weiterhin ein. Behandeln Sie sie bis zur Bestätigung durch LMSYS / OpenCompass als Obergrenzen.

Benchmark	Hy3 Preview	GLM-5.1	DeepSeek R1	GPT-5.4
SWE-bench Verified	74.4%	~79%	~71%	~78%
Terminal-Bench 2.0	54.4%	—	—	—
GPQA Diamond	87.2%	—	~84%	~88%
SuperGPQA	51.6%	—	—	—
HLE	~30	—	—	—

Tencent berichtet außerdem starke Ergebnisse bei proprietären CL-bench- / CL-bench-Life-Kontextlern-Benchmarks und der Tsinghua Qiuzhen Math PhD-Prüfung (Frühjahr 2026).

---

Fehlerbehebung

Problem	Lösung
OutOfMemoryError beim Laden	BF16 benötigt insgesamt ~590GB VRAM. Reduzieren Sie auf 4×A100 mit --max-model-len 32768 oder verwenden Sie AngelSlim W4A16-Quants.
Langsamer HuggingFace-Download	Verwende huggingface-cli download tencent/Hy3-preview --local-dir ./weights --resume-download. Rechnen Sie mit 590GB+.
Tool-Calls stillschweigend verworfen	Stellen Sie sicher, dass --tool-call-parser hy_v3 (vLLM) oder --tool-call-parser hunyuan (SGLang) gesetzt ist und --enable-auto-tool-choice aktiviert ist.
Reasoning-Spur leer / falsch	Verwende temperature=0.9, top_p=1.0. Zero-Temp-Greedy-Decoding bricht die Chain-of-Thought. Bestätigen Sie reasoning_effort: "high".
Fehler beim MTP-spekuativen Decoding	Erfordert ein aktuelles vLLM (Build nach April 2026). Führen Sie pip install -U vllm --pre aus oder pinnen Sie auf ein Tag, das mtp in den Release Notes aufführt.
256K-Kontext OOMs	Beginnen Sie bei --max-model-len 32768, aktivieren Sie --enable-chunked-prefill, erhöhen Sie schrittweise. Der volle 256K-Kontext benötigt realistisch 8× H200.
Benutzerdefinierte Architektur abgelehnt	Immer --trust-remote-code. Hy3 liefert eigenen Modellierungscode zusammen mit dem Checkpoint.
Ollama / GGUF nicht verfügbar	Community-Quants kommen typischerweise 2–4 Wochen nach Veröffentlichung an. Verwenden Sie bis dahin vLLM oder AngelSlim.

---

Nächste Schritte

• Nächstliegender Open-Weight-Peer: GLM-5.1 — 744B / 40B-aktives MoE, MIT-Lizenz, Top-SWE-bench-Pro-Ergebnisse

• Multimodale Alternative: Qwen3.5-Omni — Text + Audio + Bild + Video, läuft auf einer einzelnen RTX 4090

• Nur-Reasoning-Alternative: DeepSeek R1 — reiner Spezialist für langes, freies Schlussfolgern

• Hardware mieten: A100 80GB als Bare Metal — 4× A100 80GB-Instanzen von Bare Metal

• Vollständiger Marktplatz: clore.ai/marketplace — H100, H200, A100, RTX 5090 ab 0,25–0,77 $/h

Links

• Hy3 Preview auf HuggingFace

• Hy3 Preview GitHub-Repository

• Tencent Hunyuan Organisation

• vLLM-Dokumentation

• SGLang-Repo

• AngelSlim — Tencents Quantisierungs-Toolkit