Hy3 Preview (Tencent Hunyuan 3, 295B MoE)

Разверните Hy3 Preview от Tencent (295B MoE, 21B активных, 256K ctx) на Clore.ai — первую модель из перестроенного training stack Tencent Hunyuan, настроенную для долгосрочного рассуждения и agentic coding

Статус (апрель 2026): Hy3 Preview — это первый публичный релиз перестроенной инфраструктуры обучения Tencent Hunyuan, опубликованный 13 апреля 2026 года и последний раз обновлён 23 апреля 2026 года. Веса доступны по адресу huggingface.co/tencent/Hy3-preview под Лицензия Tencent Hy Community. Поддержка с первого дня появилась в vLLM и SGLang.

Hy3 Preview — это модель Mixture-of-Experts с 295 млрд параметров языковая модель, которая активирует только ~21 млрд параметров на токен (192 эксперта, маршрутизация top-8). Она нацелена на две задачи, в которых Tencent заметно догоняет: долгосрочное рассуждение (FrontierScience-Olympiad, IMOAnswerBench, экзамены по математике уровня PhD) и агентное программирование (SWE-bench Verified 74.4%, Terminal-Bench 2.0 54.4%, по заявлению вендора). Окно контекста 256K плюс слой MTP (Multi-Token Prediction) для speculative decoding делают его практичным для IDE-масштабных кодирующих агентов и RAG с большим объёмом документов.

Для пользователей Clore.ai главное число — 21 млрд активных. Вам не нужен полный массив 8×H200. Достаточно tensor-parallel развёртывания на 4×A100 80GB или 2×H100 80GB (BF16 с offload) — этого достаточно для обслуживания с приемлемой пропускной способностью — агентное кодирование уровня frontier примерно за ~$2.08/ч на маркетплейсе, при этом веса остаются на вашем собственном сервере.

Ключевые характеристики

Параметр	Значение
Общее число параметров	295B (MoE)
Активные параметры	21B за один проход вперёд
Эксперты	всего 192, маршрутизация top-8
Слои	80 трансформерных + 1 MTP
Внимание	64 головы, GQA с 8 KV-головами, размер головы 128
Скрытый размер	4096
Промежуточный размер	13,312
Словарь	120,832
Окно контекста	256 000 токенов
Нативная точность	BF16
Лицензия	Лицензия Tencent Hy Community
Дата выпуска	13 апреля 2026 года
Организация	Tencent Hunyuan
Основные инструменты	vLLM, SGLang, AngelSlim, LLaMA-Factory

Почему Hy3 Preview?

• Первый на обновлённом стеке RL Tencent — Tencent переписала свою инфраструктуру обучения для этого релиза; ожидайте быстрой итерации в течение 2026 года

• 21 млрд активных MoE — вы платите за инференс как за ~21-миллиардную dense-модель, а не за 295B

• контекст 256K — достаточно для полных репозиториев, длинных трасс агента или много-документного RAG за один запуск

• слой MTP speculative decoding — встроенное предсказание нескольких токенов даёт ускорение декодирования примерно в 1.5–2× на GPU класса Hopper

• Два режима рассуждения — reasoning_effort: "high" для chain-of-thought, "no_think" для быстрых прямых ответов

• Ориентация на агентное кодирование — явно настроен для многотурового использования инструментов в стиле SWE-bench и терминальных агентов

• Лицензия, дружественная к open-source — Tencent Hy Community License по сути Apache-стиля для большинства случаев; проверьте файл LICENSE для вашего случая

---

Требования

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Всё ещё модель класса 295B. «21B active» описывает вычисления инференса, а не объём памяти. Полные веса BF16 занимают около ~590 ГБ и должны находиться в VRAM (или быть выгружены). Планируйте 8×H100/H200, если вам нужна неограниченная пропускная способность; 4×A100 80GB работают с offload и более короткими контекстами.

Компонент	Минимум (Q4 GGUF, offload)	Рекомендуется (BF16, TP)	Полный BF16 (production)
VRAM GPU	~80GB + offload в 256GB RAM	4× A100 80GB (320GB)	8× H100 80GB или 8× H20-3e
ОЗУ	256 ГБ	384GB	512 ГБ
Диск	700GB NVMe	1TB NVMe	1,5 ТБ NVMe
CUDA	12.8+	12.8+	12.8+
Драйвер	550+	550+	560+

Соответствие железу: Для большинства команд, 4× A100 80GB с BF16 tensor-parallel и --max-model-len 65536 — это оптимальный вариант (голое железо). Если вам нужен полный контекст 256K с одновременными пользователями, переходите на 8× H100.

---

Вариант A — Ollama / GGUF (квантизированные, сборки сообщества)

Внимание: Hy3 Preview совсем новый (13 апреля 2026 года) и использует кастомную архитектуру MoE. Поддержка community llama.cpp / GGUF обычно появляется через 2–4 недели после релиза. Если вам нужно это сегодня, используйте vLLM (Вариант B). Проверьте huggingface.co/models?search=hy3-preview+gguf на наличие community quant-версий перед загрузкой.

# Когда будет опубликована сборка Q4_K_M
docker exec ollama ollama pull hy3-preview:q4_K_M
docker exec ollama ollama run hy3-preview:q4_K_M

# Или с llama.cpp напрямую на community GGUF
docker run --gpus all -it --rm -p 8080:8080 \\
  -v $(pwd)/models:/models \\
  ghcr.io/ggerganov/llama.cpp:server-cuda \\
  -m /models/hy3-preview-q4_k_m.gguf \
  --n-gpu-layers 80 --ctx-size 32768 \
  --port 8080 --host 0.0.0.0

До появления GGUF AngelSlim (собственный инструмент Tencent для квантизации) может напрямую создавать веса W4A16 / W8A8 из BF16-чекпойнта.

---

Вариант B — vLLM (production API, рекомендуется)

vLLM — это основной целевой сервер Tencent для Hy3 Preview. Слой MTP speculative decoding подключается через --speculative-config.method mtp.

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model tencent/Hy3-preview
      --tensor-parallel-size 8
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --speculative-config.method mtp
      --speculative-config.num_speculative_tokens 1
      --tool-call-parser hy_v3
      --reasoning-parser hy_v3
      --enable-auto-tool-choice
      --served-model-name hy3-preview
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# Проверьте API с высоким уровнем reasoning
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "hy3-preview",
    "messages": [
      {"role": "system", "content": "Вы — экспертный инженер-программист."},
      {"role": "user", "content": "Рефакторьте эту функцию Python, чтобы использовать async/await, и добавьте корректную обработку ошибок."}
    ],
    "max_tokens": 4096,
    "temperature": 0.9,
    "top_p": 1.0,
    "reasoning_effort": "high"
  }'

Режимы рассуждения. Установите reasoning_effort: "high" для включения трасс chain-of-thought (медленнее, намного лучше для математики/кода/задач агента) или "no_think" для быстрых прямых ответов. Рекомендуемая вендором выборка — temperature=0.9, top_p=1.0 — выборка с нулевой температурой может ломать цепочки рассуждений.

Мало GPU? Понизьте до --tensor-parallel-size 4 на 4× A100 80GB. Держите --max-model-len 32768 и добавьте --enable-chunked-prefill чтобы сохранить разумную задержку prefill.

---

Вариант C — SGLang

SGLang поддерживает это с первого дня и сочетает слой MTP с EAGLE speculative decoding для дополнительной пропускной способности на Hopper.

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \
  --model tencent/Hy3-preview \
  --tp 8 \
  --tool-call-parser hunyuan \
  --reasoning-parser hunyuan \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 1 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 2 \
  --mem-fraction-static 0.88 \
  --context-length 65536 \
  --served-model-name hy3-preview

Ожидайте увеличения пропускной способности на 1.5–2× в длинных агентных циклах по сравнению с обычным decode.

---

Рекомендации по GPU для Clore.ai

Конфигурация	VRAM	Ожидаемая производительность	Стоимость на Clore.ai	Аренда
4× A100 80GB	320 ГБ	BF16 sharded, контекст 64K, ~15–25 ток/с	голое железо	Выделенное железо
2× H100 80GB	160 ГБ	BF16 с offload, меньший контекст, ~12–20 ток/с	~$2.08/ч	Арендуйте H100
8× H100 80 ГБ	640 ГБ	Полный BF16, контекст 256K, 60+ ток/с с MTP	~$8.32/ч	Арендуйте H100
8× H200 141 ГБ	1,128 ГБ	Полный BF16 + максимальная параллельность	голое железо	Выделенное железо
1× RTX 5090	32GB	Q4 GGUF, offload в RAM, один пользователь	$0.25–0.77/ч	Маркетплейс

Лучшее соответствие: 4× A100 80GB с BF16 tensor-parallel и окном контекста 64K, доступные как голое железо а не как аренда на маркетплейсе. Вы получаете open-weight агентный кодер класса 295B примерно по цене подписки Claude Pro, и веса никогда не покидают ваш арендованный сервер.

---

Сценарии использования

• Автономные SWE-агенты — 74.4% SWE-bench Verified (по заявлению вендора) и явная настройка для длинных циклов вызова инструментов; используйте вместе с OpenHands, SWE-agent или Aider

• Агенты, управляемые терминалом — 54.4% на Terminal-Bench 2.0 ставят его в верхний эшелон для shell/CLI рабочих процессов

• Долгосрочное рассуждение — математика уровня олимпиад (IMOAnswerBench, FrontierScience-Olympiad) и STEM уровня PhD

• RAG на масштабе кодовой базы — контекст 256K помещает целый репозиторий среднего размера плюс тесты в один промпт

• Агенты поиска и веб-обхода — настройка BrowseComp / WideSearch делает его сильным планировщиком для многошагового веб-исследования

• Агент из агентов — используйте Hy3 Preview как планировщик и более лёгкие open models (Qwen3.5, GLM-4.7 Flash) в качестве исполнителей

---

Бенчмарки

Утверждения вендора — проверяйте независимо. Все числа ниже взяты из model card Tencent от 13 апреля 2026 года. Независимые воспроизведения (особенно на SWE-bench Verified) всё ещё появляются. Считайте их верхними пределами, пока LMSYS / OpenCompass не подтвердят.

Бенчмарк	Hy3 Preview	GLM-5.1	DeepSeek R1	GPT-5.4
SWE-bench Verified	74.4%	~79%	~71%	~78%
Terminal-Bench 2.0	54.4%	—	—	—
GPQA Diamond	87.2%	—	~84%	~88%
SuperGPQA	51.6%	—	—	—
HLE	~30	—	—	—

Tencent также сообщает о сильных результатах на проприетарных бенчмарках CL-bench / CL-bench-Life по обучению на контексте и на экзамене Tsinghua Qiuzhen Math PhD (весна 2026).

---

Устранение неполадок

Проблема	Решение
OutOfMemoryError при загрузке	BF16 требует около ~590 ГБ общей VRAM. Переходите на 4×A100 с --max-model-len 32768 или используйте кванты AngelSlim W4A16.
Медленная загрузка с HuggingFace	Используйте huggingface-cli download tencent/Hy3-preview --local-dir ./weights --resume-download. Ожидайте 590GB+.
Вызовы инструментов тихо отбрасываются	Убедитесь, что --tool-call-parser hy_v3 (vLLM) или --tool-call-parser hunyuan (SGLang) установлен, и --enable-auto-tool-choice включён.
Пустая / неверная reasoning-трасса	Используйте temperature=0.9, top_p=1.0. Жадное декодирование с нулевой температурой ломает chain-of-thought. Проверьте reasoning_effort: "high".
Ошибки MTP speculative decoding	Требуется свежая версия vLLM (сборка после апреля 2026). Запустите pip install -U vllm --pre или закрепите версию на теге, где в примечаниях к релизу указан mtp .
OOM при контексте 256K	Начните с --max-model-len 32768, включите --enable-chunked-prefill, увеличивайте постепенно. Для полного 256K реалистично нужно 8× H200.
Кастомная архитектура отклонена	Всегда передавайте --trust-remote-code. Hy3 поставляется с кастомным кодом моделирования вместе с checkpoint.
Ollama / GGUF недоступны	Community quants обычно появляются через 2–4 недели после релиза. Пока используйте vLLM или AngelSlim.

---

Дальнейшие шаги

• Ближайший open-weight аналог: GLM-5.1 — MoE 744B / 40B-active, лицензия MIT, лучшие оценки SWE-bench Pro

• Мультимодальная альтернатива: Qwen3.5-Omni — текст + аудио + изображение + видео, работает на одной RTX 4090

• Альтернатива только для рассуждения: DeepSeek R1 — специализированная модель для чистого длинного reasoning

• Арендуйте железо: A100 80GB как bare metal — инстансы 4× A100 80GB от голое железо

• Полный маркетплейс: clore.ai/marketplace — H100, H200, A100, RTX 5090 от $0.25–0.77/ч

Ссылки

• Hy3 Preview на HuggingFace

• GitHub-репозиторий Hy3 Preview

• Организация Tencent Hunyuan

• Документация vLLM

• Репозиторий SGLang

• AngelSlim — инструмент Tencent для квантизации