Hy3 Preview (Tencent Hunyuan 3, 295B MoE)

Clore.ai पर Tencent का Hy3 Preview (295B MoE, 21B active, 256K ctx) डिप्लॉय करें — Tencent Hunyuan के पुनर्निर्मित ट्रेनिंग स्टैक का पहला मॉडल, लंबी-क्षितिज रीजनिंग और एजेंटिक कोडिंग के लिए ट्यून किया गया

स्थिति (अप्रैल 2026): Hy3 Preview से पहला सार्वजनिक रिलीज़ है Tencent Hunyuan के पुनर्निर्मित प्रशिक्षण अवसंरचना सेको प्रकाशित किया गया 13 अप्रैल, 2026 और अंतिम बार अपडेट किया गया 23 अप्रैल, 2026. वेट्स यहाँ उपलब्ध हैं huggingface.co/tencent/Hy3-preview के अंतर्गत Tencent Hy Community License. Day-0 समर्थन vLLM और SGLang में उपलब्ध हो गया।

Hy3 Preview एक 295B-पैरामीटर Mixture-of-Experts भाषा मॉडल है जो केवल सक्रिय करता है ~21B पैरामीटर प्रति टोकन (192 expert, top-8 routed). यह दो वर्कलोड को लक्षित करता है जहाँ Tencent स्पष्ट रूप से पकड़ बना रहा है: लंबी-क्षितिज तर्कशक्ति (FrontierScience-Olympiad, IMOAnswerBench, math-PhD परीक्षाएँ) और एजेंटिक कोडिंग (SWE-bench Verified 74.4%, Terminal-Bench 2.0 54.4%, vendor-claimed). 256K कॉन्टेक्स्ट विंडो और MTP (Multi-Token Prediction) speculative-decoding लेयर इसे IDE-स्केल कोडिंग एजेंटों और दस्तावेज़-भारी RAG के लिए व्यावहारिक बनाते हैं।

Clore.ai उपयोगकर्ताओं के लिए, मुख्य संख्या है 21B active. आपको पूरा 8×H200 रैक नहीं चाहिए। 4×A100 80GB या 2×H100 80GB के पार एक tensor-parallel deployment (BF16 with offload) इसे उपयोगी throughput पर सर्व करने के लिए पर्याप्त है — marketplace पर लगभग $2.08/घंटा में frontier-class agentic coding, जबकि weights आपके अपने बॉक्स पर बने रहते हैं।

मुख्य विनिर्देश

गुण

मान

कुल पैरामीटर

295B (MoE)

सक्रिय पैरामीटर

21B प्रति forward pass

Experts

कुल 192, top-8 routed

Layers

80 transformer + 1 MTP

अटेंशन

64 heads, 8 KV heads के साथ GQA, head dim 128

Hidden Size

4096

Intermediate Size

13,312

Vocabulary

120,832

संदर्भ विंडो

256,000 टोकन

Native Precision

BF16

लाइसेंस

Tencent Hy Community License

रिलीज़ तिथि

13 अप्रैल, 2026

संगठन

Tencent Hunyuan

मुख्य टूलिंग

vLLM, SGLang, AngelSlim, LLaMA-Factory

Hy3 Preview क्यों?

Tencent के पुनर्निर्मित RL stack पर पहला — Tencent ने इस रिलीज़ के लिए अपनी training infrastructure को फिर से लिखा है; 2026 के दौरान तेज़ iteration की उम्मीद करें
21B active MoE — ~21B dense model की inference cost दें, 295B की नहीं
256K context — पूरे repos, लंबे agent traces, या multi-document RAG के लिए एक ही बार में पर्याप्त
MTP speculative layer — built-in multi-token prediction Hopper-class GPUs पर लगभग 1.5–2× decode speedups देता है
दो reasoning modes — reasoning_effort: "high" के लिए chain-of-thought "no_think" तेज़ सीधे उत्तरों के लिए
Agentic-coding पर फोकस — SWE-bench-style multi-turn tool use और terminal agents के लिए स्पष्ट रूप से tuned
Open-source-friendly license — Tencent Hy Community License अधिकांश उपयोगों के लिए Apache-style है; अपने मामले के लिए LICENSE फ़ाइल जाँचें

आवश्यकताएँ

Clore.ai marketplace पर multi-GPU 80GB-class rigs सूचीबद्ध नहीं हैं। आज सूचीबद्ध सबसे बड़े boxes 4× RTX PRO 6000 Blackwell (प्रत्येक 96GB, कुल 380GB) और 8–11× RTX 5090 (प्रत्येक 32GB) हैं। A100 / H200 / B200 क्षमता bare metal के रूप में अनुरोध पर बेची जाती है। देखें GPU मूल्य और उपलब्धता किसी deployment का आकार तय करने से पहले।

अब भी 295B-श्रेणी का मॉडल है। "21B active" inference compute को दर्शाता है, memory footprint को नहीं। पूर्ण BF16 weights लगभग ~590GB हैं और VRAM में रहने चाहिए (या offload किए जाने चाहिए)। यदि आप unconstrained throughput चाहते हैं, तो 8×H100/H200 की योजना बनाइए; 4×A100 80GB offload और छोटे contexts के साथ काम करता है।

घटक

न्यूनतम (Q4 GGUF, offload)

अनुशंसित (BF16, TP)

पूर्ण BF16 (production)

GPU VRAM

~80GB + 256GB RAM offload

4× A100 80GB (320GB)

8× H100 80GB या 8× H20-3e

RAM

256GB

384GB

512GB

डिस्क

700GB NVMe

1TB NVMe

1.5TB NVMe

CUDA

12.8+

ड्राइवर

550+

560+

हार्डवेयर उपयुक्तता: अधिकांश टीमों के लिए, 4× A100 80GB BF16 tensor-parallel और --max-model-len 65536 है सबसे उपयुक्त विकल्प (bare metal). यदि आपको concurrent users के साथ पूरा 256K context चाहिए, तो 8× H100 पर जाएँ।

विकल्प A — Ollama / GGUF (Quantized, community builds)

ध्यान दें: Hy3 Preview बिल्कुल नया है (13 अप्रैल, 2026) और एक custom MoE architecture का उपयोग करता है। Community llama.cpp / GGUF समर्थन आम तौर पर 2–4 सप्ताह रिलीज़ के बाद आता है। यदि आपको इसे आज चाहिए, तो vLLM (विकल्प B) का उपयोग करें। देखें huggingface.co/models?search=hy3-preview+gguf डाउनलोड करने से पहले community quants के लिए।

# जब एक Q4_K_M build प्रकाशित हो जाए
docker exec ollama ollama pull hy3-preview:q4_K_M
docker exec ollama ollama run hy3-preview:q4_K_M

# या community GGUF पर सीधे llama.cpp के साथ
docker run --gpus all -it --rm -p 8080:8080 \
  -v $(pwd)/models:/models \
  ghcr.io/ggerganov/llama.cpp:server-cuda \
  -m /models/hy3-preview-q4_k_m.gguf \\
  --n-gpu-layers 80 --ctx-size 32768 \\
  --port 8080 --host 0.0.0.0

पूर्व-GGUF दिनों में, AngelSlim (Tencent का अपना quantization toolkit) BF16 checkpoint से सीधे W4A16 / W8A8 weights बना सकता है।

विकल्प B — vLLM (प्रोडक्शन API, अनुशंसित)

vLLM Hy3 Preview के लिए Tencent का first-class serving target है। MTP speculative layer इसमें जुड़ा है --speculative-config.method mtp.

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model tencent/Hy3-preview
      --tensor-parallel-size 8
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --speculative-config.method mtp
      --speculative-config.num_speculative_tokens 1
      --tool-call-parser hy_v3
      --reasoning-parser hy_v3
      --enable-auto-tool-choice
      --served-model-name hy3-preview
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# उच्च reasoning effort के साथ API का परीक्षण करें
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "hy3-preview",
    "messages": [
      {"role": "system", "content": "आप एक विशेषज्ञ सॉफ्टवेयर इंजीनियर हैं।"},
      {"role": "user", "content": "इस Python फ़ंक्शन को async/await का उपयोग करने के लिए refactor करें और उचित error handling जोड़ें।"}
    ],
    "max_tokens": 4096,
    "temperature": 0.9,
    "top_p": 1.0,
    "reasoning_effort": "high"
  }'

Reasoning modes. सेट करें reasoning_effort: "high" chain-of-thought traces सक्षम करने के लिए (धीमा, math/coding/agent कार्यों में कहीं बेहतर) या "no_think" तेज़ सीधे उत्तरों के लिए। vendor-recommended sampling है temperature=0.9, top_p=1.0 — zero-temp sampling reasoning traces को तोड़ सकती है।

GPUs कम हैं? इसे घटाएँ --tensor-parallel-size 4 4× A100 80GB पर। रखें --max-model-len 32768 और जोड़ें --enable-chunked-prefill ताकि prefill latency उचित रहे।

विकल्प C — SGLang

SGLang day-0 समर्थन के साथ आता है और Hopper पर अतिरिक्त throughput के लिए MTP layer को EAGLE speculative decoding के साथ जोड़ता है।

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \\
  --model tencent/Hy3-preview \\
  --tp 8 \\
  --tool-call-parser hunyuan \\
  --reasoning-parser hunyuan \\
  --speculative-algorithm EAGLE \\
  --speculative-num-steps 1 \\
  --speculative-eagle-topk 1 \\
  --speculative-num-draft-tokens 2 \\
  --mem-fraction-static 0.88 \
  --context-length 65536 \
  --served-model-name hy3-preview

vanilla decode की तुलना में लंबे agent loops पर 1.5–2× throughput boost की उम्मीद करें।

Clore.ai GPU अनुशंसाएँ

सेटअप

VRAM

अपेक्षित प्रदर्शन

Clore.ai लागत

किराए पर लें

4× A100 80GB

320GB

BF16 sharded, 64K ctx, ~15–25 tok/s

bare metal

बेयर मेटल

2× H100 80GB

160GB

offload के साथ BF16, छोटा ctx, ~12–20 tok/s

~$2.08/घंटा

H100 किराए पर लें

8× H100 80GB

640GB

BF16 full, 256K ctx, MTP के साथ 60+ tok/s

~$8.32/घंटा

H100 किराए पर लें

8× H200 141GB

1,128GB

BF16 full + अधिकतम concurrency

bare metal

बेयर मेटल

1× RTX 5090

32GB

Q4 GGUF, RAM offload, एकल उपयोगकर्ता

$0.25–0.77/घंटा

मार्केटप्लेस

सबसे उपयुक्त: 4× A100 80GB with BF16 tensor-parallel और 64K context window, उपलब्ध है bare metal marketplace rental के बजाय। आपको लगभग Claude Pro subscription की कीमत में एक open-weight 295B-श्रेणी का agentic coder मिलता है, और weights कभी आपके किराए के box से बाहर नहीं जाते।

उपयोग के मामले

स्वायत्त SWE agents — 74.4% SWE-bench Verified (vendor-claimed) और लंबे tool-call loops के लिए स्पष्ट tuning; OpenHands, SWE-agent, या Aider के साथ जोड़ें
Terminal-चालित agents — 54.4% Terminal-Bench 2.0 इसे shell/CLI workflows के लिए शीर्ष श्रेणी में रखता है
लंबी-क्षितिज reasoning — Olympiad-स्तर की math (IMOAnswerBench, FrontierScience-Olympiad) और PhD-स्तर STEM
Codebase-स्केल RAG — 256K ctx एक ही prompt में एक पूरा मध्यम-आकार का repo और tests फिट करता है
Search और browsing agents — BrowseComp / WideSearch tuning इसे multi-step web research के लिए एक मजबूत planner बनाता है
Agent-of-agents — Hy3 Preview को planner के रूप में और हल्के open models (Qwen3.5, GLM-4.7 Flash) को workers के रूप में उपयोग करें

बेंचमार्क

विक्रेता-प्रदत्त दावा — स्वतंत्र रूप से सत्यापित करें। नीचे दिए गए सभी आँकड़े Tencent के 13 अप्रैल, 2026 model card से आते हैं। स्वतंत्र पुनरुत्पादन (विशेषकर SWE-bench Verified पर) अभी भी आ रहे हैं। LMSYS / OpenCompass के सत्यापन तक इन्हें ऊपरी सीमाएँ मानें।

Benchmark

Hy3 Preview

GLM-5.1

DeepSeek R1

GPT-5.4

SWE-bench Verified

74.4%

~79%

~71%

~78%

Terminal-Bench 2.0

54.4%

—

GPQA Diamond

87.2%

—

~84%

~88%

SuperGPQA

51.6%

—

HLE

~30

—

Tencent proprietary CL-bench / CL-bench-Life context-learning benchmarks और Tsinghua Qiuzhen Math PhD exam (Spring 2026) पर भी मजबूत परिणाम रिपोर्ट करता है।

समस्या निवारण

समस्या

समाधान

OutOfMemoryError लोड होने पर

BF16 को लगभग ~590GB कुल VRAM चाहिए। 4×A100 पर नीचे जाएँ --max-model-len 32768 या AngelSlim W4A16 quants का उपयोग करें।

HuggingFace डाउनलोड धीमा

उपयोग करें huggingface-cli download tencent/Hy3-preview --local-dir ./weights --resume-download. 590GB+ की उम्मीद करें।

टूल कॉल्स चुपचाप छोड़ दिए जाते हैं

सुनिश्चित करें कि --tool-call-parser hy_v3 (vLLM) या --tool-call-parser hunyuan (SGLang) सेट है, और --enable-auto-tool-choice चालू है।

Reasoning trace खाली / गलत

उपयोग करें temperature=0.9, top_p=1.0. Zero-temp greedy decoding chain-of-thought को तोड़ देता है। पुष्टि करें कि reasoning_effort: "high".

MTP speculative decoding errors

Recent vLLM (post-April 2026 build) की आवश्यकता है। चलाएँ pip install -U vllm --pre या ऐसे tag पर pin करें जिसमें mtp release notes में सूचीबद्ध हो।

256K context OOMs

शुरू करें --max-model-len 32768, सक्षम करें --enable-chunked-prefillसे, धीरे-धीरे बढ़ाएँ। पूर्ण 256K को वास्तविक रूप से 8× H200 चाहिए।

Custom architecture अस्वीकृत

हमेशा पास करें --trust-remote-code. Hy3 checkpoint के साथ custom modeling code ships करता है।

Ollama / GGUF उपलब्ध नहीं

Community quants आम तौर पर रिलीज़ के 2–4 सप्ताह बाद आते हैं। तब तक vLLM या AngelSlim का उपयोग करें।

अगले चरण

सबसे निकट open-weight peer: GLM-5.1 — 744B / 40B-active MoE, MIT license, top SWE-bench Pro स्कोर
मल्टीमोडल विकल्प: Qwen3.5-Omni — text + audio + image + video, एक single RTX 4090 पर चलता है
केवल-तर्क विकल्प: DeepSeek R1 — शुद्ध long-form reasoning specialist
हार्डवेयर किराए पर लें: bare metal पर A100 80GB — से 4× A100 80GB instances bare metal
पूरा marketplace: clore.ai/marketplace — H100, H200, A100, RTX 5090 $0.25–0.77/घंटा से

लिंक्स

पिछलाजेमिनी 3.1 फ्लैश लाइट

अगलाMiMo-V2.5-Pro (Xiaomi 1T MoE)

अंतिम अपडेट 1 माह पहले

क्या यह उपयोगी था?