Ling-2.6-flash (Ant Group 104B MoE)

Разверните Ling-2.6-flash (104B MoE, 7.4B активных) от Ant Group на Clore.ai — flash-версию, оптимизированную для агентов, которая помещается на одной RTX 4090

Статус (29 апреля 2026): Ling-2.6-flash был выпущен Ant Group's inclusionAI командой на 28 апреля 2026 (на момент написания — один день назад). Это младший, небольшой и быстрый, настроенный под агентов собрат Ling-2.5-1T — та же линия, та же ДНК гибридного линейного внимания, но всего лишь 7,4 млрд активных параметров из 104-миллиардной разреженной MoE. Веса находятся по адресу huggingface.co/inclusionAI/Ling-2.6-flash под лицензией MIT.

Где Ling-2.5-1T требовалась стойка с 8 GPU, чтобы даже запуститься, Ling-2.6-flash — это первый релиз inclusionAI, который помещается на одном потребительском GPU. Путь с 7,4 млрд активных параметров означает, что вы платите за инференс как за плотную 8B-модель, но используете пул из 104 млрд параметров — и Ant Group настроила этот пул специально для агентных рабочих процессов: вызовов инструментов, многосоставного планирования и структурированной диспетчеризации функций.

По данным, опубликованным поставщиком, Ling-2.6-flash достигает SOTA на BFCL-V4 и TAU2-bench в своём классе размеров, с пропускной способностью примерно 340 ток/с на 4× H20 в официальной конфигурации бенчмарка. Для пользователей Clore.ai куда интереснее другая, гораздо меньшая цифра: INT4 спокойно помещается на одной RTX 4090 (24 ГБ) с запасом для контекста 32K+, а FP8 помещается на одном H100 80 ГБ. Это выводит свежую небольшую модель frontier-класса, настроенную под агентов, примерно на ~$1.04/ч на Маркетплейс Clore.ai.

Ключевые характеристики

Параметр	Значение
Общее число параметров	104B (MoE)
Активные параметры	7,4 млрд на один прямой проход
Архитектура	1:7 гибридное внимание MLA + Lightning Linear
Окно контекста	262 144 токена
Квантизации	BF16, FP8, INT4
Лицензия	MIT
Дата выпуска	28 апреля 2026
Организация	Ant Group — inclusionAI
Основные инструменты	SGLang (рекомендуется), vLLM, llama.cpp/Ollama (общественные GGUF)

Почему Ling-2.6-flash?

• Можно развернуть на одной GPU — INT4 на одной RTX 4090 или RTX 3090, FP8 на одном H100. Никакой возни с несколькими GPU, никакой борьбы с NVLink.

• Настроен под агентов — специально обучен под циклы вызова инструментов в стиле BFCL-V4 / TAU2-bench, а не просто протестирован на них постфактум.

• Качество разреженной MoE при стоимости 7,4 млрд активных параметров — вы получаете пул знаний на 104 млрд параметров через путь инференса на 7,4 млрд.

• Контекст 256K из коробки — 262K нативных токенов, без трюков YaRN для длинных агентных трасс.

• лицензией MIT — полностью коммерческий, дообучаемый и распространяемый.

• Происхождение — прямой потомок Ling-2.5-1T и Ring-2.5; архитектура проверена в бою.

---

Требования

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Дружелюбен к Clore. Это первая модель в линейке inclusionAI, которая работает на одном потребительском GPU. Если вы были вытеснены ценой из Ling-2.5-1T или GLM-5.1, это точка входа.

Компонент	INT4 (одна 24 ГБ)	FP8 (одна 80 ГБ)	BF16 (полное качество)
VRAM GPU	1× RTX 4090 / 3090 (24 ГБ)	1× H100 / A100 80 ГБ	2× A100 80 ГБ или 1× H200 141 ГБ
ОЗУ	32GB	64GB	128 ГБ
Диск	60GB NVMe	120 ГБ NVMe	220 ГБ NVMe
CUDA	12.8+	12.8+	12.8+
Практический контекст	32K–64K	128K	256K

Выбор Clore.ai: Для большинства агентных нагрузок один RTX 4090 ($0.14–0.42/час) с INT4 GGUF непревзойдён по цене. Переходите на один H100, если вам нужно качество FP8 или контекст 128K+.

---

Вариант A — Ollama / GGUF (квантованный, одна GPU)

Это путь, который подойдёт большинству пользователей Clore.ai. Общественные GGUF обычно появляются на HuggingFace через несколько дней после релиза inclusionAI.

Важно в первый день: Ling-2.6-flash вышел 28 апреля 2026 года. На момент написания общественные GGUF-кванты всё ещё могут появляться. Следите за huggingface.co/models?search=ling-2.6-flash+gguf и unsloth за первыми сборками. Если ollama pull возвращает 404, укажите llama.cpp напрямую на файл GGUF.

# Когда будет опубликована общественная сборка Q4_K_M
docker exec ollama ollama pull ling-2.6-flash:q4_K_M
docker exec ollama ollama run ling-2.6-flash:q4_K_M

# Или через llama.cpp напрямую на загруженном GGUF
docker run --gpus all -it --rm -p 8080:8080 \\
  -v $(pwd)/models:/models \\
  ghcr.io/ggerganov/llama.cpp:server-cuda \\
  -m /models/ling-2.6-flash-q4_k_m.gguf \\
  --n-gpu-layers 99 --ctx-size 32768 \\
  --port 8080 --host 0.0.0.0

Одна RTX 4090 должна выдавать ~80–120 ток/с на Q4_K_M с контекстом 32K — более чем достаточно для интерактивной агентной работы.

---

Вариант B — vLLM (production API)

vLLM — лучший выбор для обслуживания Ling-2.6-flash для нескольких одновременных агентов. Используйте контрольную точку FP8 на одном H100 / A100 80 ГБ:

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model inclusionAI/Ling-2.6-flash-FP8
      --tensor-parallel-size 1
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --enable-auto-tool-choice
      --tool-call-parser hermes
      --served-model-name ling-2.6-flash
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# Проверьте агентный путь
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "ling-2.6-flash",
    "messages": [
      {"role": "system", "content": "Вы агент с доступом к инструментам. Спланируйте, вызовите инструменты, затем ответьте."},
      {"role": "user", "content": "Найдите мне сейчас самую дешёвую RTX 4090 на Clore.ai."}
    ],
    "tools": [{"type": "function", "function": {"name": "search_marketplace", "parameters": {"type":"object","properties":{"gpu":{"type":"string"}}}}}],
    "tool_choice": "auto",
    "max_tokens": 2048
  }'

Для BF16 с полным качеством на длинных контекстах (200K+) увеличьте --tensor-parallel-size 2 до 2× A100 80 ГБ или закрепите на одном H200 141 ГБ.

---

Вариант C — SGLang (рекомендуется для максимальной пропускной способности)

SGLang — это то, что Ant Group использует для официального бенчмарка 340 ток/с — путь гибридного линейного внимания работает быстрее всего в runtime SGLang.

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-2.6-flash-FP8 \\
  --tp-size 1 \
  --tool-call-parser hermes \\
  --mem-fraction-static 0.90 \\
  --context-length 65536 \
  --served-model-name ling-2.6-flash \\
  --host 0.0.0.0 --port 30000

# Чтобы воспроизвести фирменный показатель 340 ток/с (требуется класс 4x H20 / H100)
python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-2.6-flash \\
  --tp-size 4 \
  --mem-fraction-static 0.92 \\
  --context-length 32768 \\
  --served-model-name ling-2.6-flash

---

Рекомендации по GPU для Clore.ai

Конфигурация	VRAM	Квант	Ожидаемая производительность	Стоимость на Clore.ai
1× RTX 3090	24 ГБ	INT4 GGUF	~60–90 ток/с	$0.07–0.21/ч
1× RTX 4090	24 ГБ	INT4 GGUF	~80–120 ток/с	$0.14–0.42/ч
1× A100 80 ГБ	80 ГБ	FP8	~120–180 ток/с	голое железо
1× H100 80 ГБ	80 ГБ	FP8	~150–220 ток/с	~$1.04/ч
4× H100 80 ГБ	320 ГБ	BF16 + TP=4	~340 ток/с (поставщик)	~$4.16/ч

Лучшее соотношение цены и качества: Одна RTX 4090 за $0.14–0.42/ч, работающая с Q4_K_M GGUF. Вы получаете модель MoE 104B, настроенную под агентов, с лицензией MIT и контекстом 32K дешевле чашки кофе в час. Это именно тот формат развёртывания, для которого был создан маркетплейс потребительских GPU Clore.ai.

---

Сценарии использования

• Агенты с вызовом инструментов — настройка под BFCL-V4 и TAU2-bench означает, что структурированная диспетчеризация функций — это сильная сторона, а не второстепенная мысль.

• Циклы многосоставного планирования — устойчивые цепочки вызовов инструментов без дрейфа, типичного для небольших моделей.

• Локальная замена Claude Code / OpenHands — готовый к использованию API, совместимый с OpenAI, на вашей собственной RTX 4090.

• Пакетные агентные задачи большого объёма — 340 ток/с на 4×H100 делает это пригодным для обработки тысяч агентных транскриптов в час.

• RAG на длинном контексте — нативный контекст 256K покрывает большинство корпоративных наборов документов в одном промпте.

• Дешёвая dev-песочница для Ling-2.5-1T рабочих процессов — прототипируйте на flash, развёртывайте на варианте 1T.

---

Бенчмарки

Утверждения вендора — проверяйте независимо. Все числа ниже взяты из model card inclusionAI от 28 апреля 2026 года. Модели всего один день; общественные воспроизведения на BFCL-V4 и TAU2-bench ещё не опубликованы. Воспринимайте это как ориентиры, а не как истину в последней инстанции.

Бенчмарк	Ling-2.6-flash (поставщик)	Примечания
BFCL-V4	SOTA для своего класса размеров	Berkeley Function Calling Leaderboard v4
TAU2-bench	SOTA для своего класса размеров	Бенчмарк инструментального агента v2
SWE-bench Verified / Resolved	~61.2%	Доля решённых задач на верифицированной выборке
MathArena AIME 2026	73.85
MathArena HMMT Feb 2026	49.29
Пропускная способность	~340 ток/с	4× H20-3e, TP=4, batch 32

---

Устранение неполадок

Проблема	Решение
OutOfMemoryError на RTX 4090	Перейдите на Q4_K_S или Q3_K_M; уменьшите --ctx-size до 16384; закройте другие GPU-процессы
GGUF ещё нет на HuggingFace	Модели один день. Проверьте unsloth, bartowski, и TheBloke зеркала; или самостоятельно квантуйте из BF16 с помощью llama-quantize
vLLM отклоняет архитектуру	Убедитесь, что vLLM ≥ 0.7.x с --trust-remote-code; слои гибридного линейного внимания являются пользовательскими
Вызовы инструментов возвращаются обычным текстом	Установите --enable-auto-tool-choice --tool-call-parser hermes в vLLM; SGLang обрабатывает это автоматически
Медленное предзаполнение на длинных контекстах	У линейного внимания есть затраты на прогрев; первый запрос всегда самый медленный. Используйте --enable-chunked-prefill в vLLM
Пропускная способность значительно ниже 340 ток/с	Фирменный показатель получен на 4× H20 с TP=4 и batch 32. Одна GPU + batch 1, естественно, намного медленнее — это ожидаемо, а не баг
Искажённый вывод при высокой температуре	Понизьте до temperature=0.7 для чата, 0.1 для вызова инструментов

---

Дальнейшие шаги

• Более крупный собрат: Ling-2.5-1T — та же семья, всего 1T / 63B активных, frontier-рассуждения ценой работы на нескольких GPU

• Похожий агент для одной GPU: MiMo-V2-Flash — 309B/15B активных, со встроенным speculative decoding

• Альтернатива для кодинга с открытыми весами: GLM-5.1 — 744B/40B активных, лидер SWE-Bench Pro

• Недорогая аренда GPU: Аренда RTX 4090 от $0.14–0.42/ч или RTX 3090 от $0.07–0.21/ч

• Маркетплейс Clore.ai: clore.ai/marketplace — полный каталог GPU с почасовой и spot-ценой

Ссылки

• Ling-2.6-flash на HuggingFace

• организация inclusionAI — открытая AI-лаборатория Ant Group

• Репозиторий SGLang — рекомендуемый фреймворк для сервинга

• Документация vLLM

• лидерборд BFCL-V4 — Berkeley Function Calling