Ling-2.6-flash (MoE 104B d'Ant Group)

Déployez Ling-2.6-flash (MoE 104B, 7,4B actifs) d'Ant Group sur Clore.ai — la variante flash optimisée pour les agents qui tient sur une seule RTX 4090

État (29 avril 2026) : Ling-2.6-flash a été publié par inclusionAI l'équipe le 28 avril 2026 (il y a un jour au moment de la rédaction). C'est le petit frère, rapide et optimisé pour les agents, de Ling-2.5-1T — même lignée, même ADN d'attention linéaire hybride, mais avec seulement 7,4 milliards de paramètres actifs sur un MoE clairsemé de 104 milliards. Les poids sont disponibles à huggingface.co/inclusionAI/Ling-2.6-flash sous la licence MIT.

Là où Ling-2.5-1T nécessitait un rack de 8 GPU rien que pour démarrer, Ling-2.6-flash est le premier modèle d'inclusionAI qui tient sur un seul GPU grand public. Le chemin actif de 7,4B signifie que vous payez le coût d'inférence d'un modèle dense de 8B tout en utilisant un réservoir de 104B paramètres — et Ant Group a réglé ce réservoir spécifiquement pour des workflows agentiques: appel d'outils, planification en plusieurs étapes et dispatch structuré de fonctions.

Les chiffres publiés par le fournisseur placent Ling-2.6-flash au SOTA sur BFCL-V4 et TAU2-bench dans sa catégorie de taille, avec un débit d'environ 340 tok/s sur 4× H20 dans la configuration officielle du benchmark. Pour les utilisateurs de Clore.ai, la ligne la plus intéressante est bien plus petite : INT4 tient confortablement sur une seule RTX 4090 (24 Go) avec de la marge pour un contexte 32K+, et FP8 tient sur une seule H100 80 Go. Cela place un petit modèle frontier tout juste sorti, optimisé pour les agents, à environ 1,04 $/h sur le place de marché Clore.ai.

Spécifications clés

Propriété	Valeur
Paramètres totaux	104B (MoE)
Paramètres actifs	7,4B par passe avant
Architecture	attention hybride 1:7 MLA + Lightning Linear
Fenêtre de contexte	262 144 tokens
Quantifications	BF16, FP8, INT4
Licence	MIT
Date de sortie	28 avril 2026
Organisation	Ant Group — inclusionAI
Outils principaux	SGLang (recommandé), vLLM, llama.cpp/Ollama (GGUF communautaires)

Pourquoi Ling-2.6-flash ?

• Déployable sur un seul GPU — INT4 sur une RTX 4090 ou RTX 3090, FP8 sur une H100. Pas de casse-tête multi-GPU, pas de gymnastique NVLink.

• Optimisé pour les agents — entraîné explicitement pour des boucles d'appel d'outils de type BFCL-V4 / TAU2-bench, pas seulement évalué dessus a posteriori.

• Qualité MoE clairsemée au coût actif de 7,4B — vous obtenez un réservoir de connaissances de 104B paramètres via un chemin d'inférence de 7,4B.

• contexte 256K prêt à l'emploi — 262K jetons natifs, aucun tour de passe-passe YaRN nécessaire pour de longues traces d'agent.

• licence MIT — entièrement commercialisable, ajustable, redistribuable.

• Lignée — descendant direct de Ling-2.5-1T et Ring-2.5 ; l'architecture a fait ses preuves au combat.

---

Exigences

Les configurations multi-GPU de classe 80 Go ne sont pas répertoriées sur la place de marché Clore.ai. Les plus grosses machines répertoriées aujourd’hui sont 4× RTX PRO 6000 Blackwell (96 Go chacune, 380 Go au total) et 8–11× RTX 5090 (32 Go chacune). La capacité A100 / H200 / B200 est proposée en bare metal sur demande. Consultez bare metal sur demande. Consultez Tarifs et disponibilité des GPU avant de dimensionner un déploiement.

Adapté à Clore. C'est le premier modèle de la gamme inclusionAI qui fonctionne sur un seul GPU grand public. Si vous avez été écarté de Ling-2.5-1T ou GLM-5.1, voici le point d'entrée.

Composant	INT4 (une seule carte de 24 Go)	FP8 (une seule carte de 80 Go)	BF16 (qualité complète)
VRAM GPU	1× RTX 4090 / 3090 (24 Go)	1× H100 / A100 80 Go	2× A100 80 Go ou 1× H200 141 Go
RAM	32 Go	64 Go	128 Go
Disque	60 Go NVMe	120 Go NVMe	220 Go NVMe
CUDA	12.8+	12.8+	12.8+
Contexte pratique	32K–64K	128K	256K

Choix Clore.ai : Pour la plupart des charges de travail agentiques, une seule RTX 4090 ($0.14–0.42/hr) exécutant un GGUF INT4 est imbattable en prix. Passez à une seule H100 si vous avez besoin de la qualité FP8 ou d'un contexte 128K+.

---

Option A — Ollama / GGUF (quantifié, GPU unique)

C'est la voie que la plupart des utilisateurs de Clore.ai voudront emprunter. Les GGUF communautaires apparaissent généralement sur HuggingFace dans les jours suivant une publication d'inclusionAI.

À savoir dès le premier jour : Ling-2.6-flash est sorti le 28 avril 2026. Au moment de la rédaction, les quantifications communautaires GGUF peuvent encore arriver. Surveillez huggingface.co/models?search=ling-2.6-flash+gguf et unsloth pour les premières versions. Si ollama pull renvoie une 404, pointez llama.cpp directement vers le fichier GGUF.

# Une fois qu'une build communautaire Q4_K_M est publiée
docker exec ollama ollama pull ling-2.6-flash:q4_K_M
docker exec ollama ollama run ling-2.6-flash:q4_K_M

# Ou avec llama.cpp directement sur un GGUF téléchargé
docker run --gpus all -it --rm -p 8080:8080 \\
  -v $(pwd)/models:/models \\
  ghcr.io/ggerganov/llama.cpp:server-cuda \\
  -m /models/ling-2.6-flash-q4_k_m.gguf \\
  --n-gpu-layers 99 --ctx-size 32768 \\
  --port 8080 --host 0.0.0.0

Une seule RTX 4090 devrait atteindre ~80–120 tok/s sur Q4_K_M avec un contexte 32K — largement suffisant pour un travail agentique interactif.

---

Option B — vLLM (API de production)

vLLM est la solution de référence pour servir Ling-2.6-flash à plusieurs agents simultanés. Utilisez le checkpoint FP8 sur une seule H100 / A100 80 Go :

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model inclusionAI/Ling-2.6-flash-FP8
      --tensor-parallel-size 1
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --enable-auto-tool-choice
      --tool-call-parser hermes
      --served-model-name ling-2.6-flash
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# Tester le chemin agentique
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ling-2.6-flash",
    "messages": [
      {"role": "system", "content": "Vous êtes un agent avec accès à des outils. Planifiez, appelez les outils, puis répondez."},
      {"role": "user", "content": "Trouvez-moi la RTX 4090 la moins chère sur Clore.ai en ce moment."}
    ],
    "tools": [{"type": "function", "function": {"name": "search_marketplace", "parameters": {"type":"object","properties":{"gpu":{"type":"string"}}}}}],
    "tool_choice": "auto",
    "max_tokens": 2048
  }'

Pour une qualité BF16 complète sur de longs contextes (200K+), répartissez --tensor-parallel-size 2 sur 2× A100 80 Go ou fixez-le sur une seule H200 141 Go.

---

Option C — SGLang (recommandé pour un débit maximal)

SGLang est ce qu'Ant Group utilise pour le benchmark officiel de 340 tok/s — le chemin d'attention linéaire hybride est le plus rapide dans le runtime de SGLang.

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-2.6-flash-FP8 \\
  --tp-size 1 \
  --tool-call-parser hermes \\
  --mem-fraction-static 0.90 \\
  --context-length 65536 \\
  --served-model-name ling-2.6-flash \\
  --host 0.0.0.0 --port 30000

# Pour reproduire le chiffre fournisseur de 340 tok/s (nécessite 4× H20 / classe H100)
python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-2.6-flash \\
  --tp-size 4 \\
  --mem-fraction-static 0.92 \\
  --context-length 32768 \\
  --served-model-name ling-2.6-flash

---

Recommandations GPU Clore.ai

Configuration	VRAM	Quant.	Débit attendu	Coût Clore.ai
1× RTX 3090	24GB	GGUF INT4	~60–90 tok/s	0,07–0,21 $/h
1× RTX 4090	24GB	GGUF INT4	~80–120 tok/s	0,14–0,42 $/h
1× A100 80 Go	80 Go	FP8	~120–180 tok/s	bare metal
1× H100 80 Go	80 Go	FP8	~150–220 tok/s	~1,04 $/h
4× H100 80 Go	320 Go	BF16 + TP=4	~340 tok/s (fournisseur)	~4,16 $/h

Meilleur rapport qualité-prix : Une seule RTX 4090 à 0,14–0,42 $/h exécutant le GGUF Q4_K_M. Vous obtenez un modèle MoE 104B, optimisé pour les agents et sous licence MIT, avec un contexte 32K pour moins qu'un café par heure. C'est exactement le type de déploiement pour lequel la place de marché GPU grand public de Clore.ai a été conçue.

---

Cas d’usage

• Agents d'appel d'outils — le réglage pour BFCL-V4 et TAU2-bench signifie que l'envoi structuré de fonctions est une force, pas une réflexion après coup.

• Boucles de planification en plusieurs étapes — des traces soutenues de chaîne d'appels d'outils sans la dérive typique des petits modèles.

• Remplacement local de Claude Code / OpenHands — API compatible OpenAI prête à l'emploi sur votre propre RTX 4090.

• Tâches batch agentiques à grand volume — 340 tok/s sur 4×H100 rend cela viable pour traiter des milliers de transcriptions d'agents par heure.

• RAG à long contexte — le contexte natif 256K couvre la plupart des ensembles de documents d'entreprise en une seule invite.

• Bac à sable de développement peu coûteux pour Ling-2.5-1T workflows — prototypez sur flash, déployez sur la variante 1T.

---

Benchmarks

Déclaré par le fournisseur — vérifiez indépendamment. Tous les chiffres ci-dessous proviennent de la fiche modèle d'inclusionAI du 28 avril 2026. Le modèle n'a qu'un jour ; les reproductions communautaires sur BFCL-V4 et TAU2-bench n'ont pas encore été publiées. Considérez-les comme indicatifs, pas comme parole d'évangile.

Benchmark	Ling-2.6-flash (fournisseur)	Remarques
BFCL-V4	SOTA pour sa catégorie de taille	Berkeley Function Calling Leaderboard v4
TAU2-bench	SOTA pour sa catégorie de taille	Benchmark d'agent d'outils v2
SWE-bench vérifié / résolu	~61.2%	Taux de résolution sur le split vérifié
MathArena AIME 2026	73.85
MathArena HMMT fév. 2026	49.29
Débit	~340 tok/s	4× H20-3e, TP=4, batch 32

---

Dépannage

Problème	Solution
OutOfMemoryError sur RTX 4090	Passez à Q4_K_S ou Q3_K_M ; réduisez --ctx-size à 16384 ; fermez les autres processus GPU
GGUF pas encore sur HuggingFace	Le modèle n'a qu'un jour. Vérifiez unsloth, bartowski, et TheBloke les miroirs ; ou quantifiez vous-même à partir de BF16 avec llama-quantize
vLLM rejette l'architecture	Assurez-vous d'avoir vLLM ≥ 0.7.x avec --trust-remote-code; les couches d'attention linéaire hybride sont personnalisées
Les appels d'outils sont renvoyés en texte brut	Définissez --enable-auto-tool-choice --tool-call-parser hermes dans vLLM ; SGLang gère cela automatiquement
Pré-remplissage lent sur les longs contextes	L'attention linéaire a un coût de montée en régime ; la première requête est toujours la plus lente. Utilisez --enable-chunked-prefill dans vLLM
Débit bien inférieur à 340 tok/s	Le chiffre du fournisseur correspond à 4× H20 avec TP=4 et batch 32. Un seul GPU + batch 1 est naturellement beaucoup plus lent — c'est normal, pas un bug
Sortie brouillée à haute température	Descendez à temperature=0.7 pour le chat, 0.1 pour l'appel d'outils

---

Étapes suivantes

• Grand frère : Ling-2.5-1T — même famille, 1T au total / 63B actifs, raisonnement de pointe au prix du multi-GPU

• Agent similaire sur un seul GPU : MiMo-V2-Flash — 309B/15B actifs avec décodage spéculatif intégré

• Alternative open-weight pour le code : GLM-5.1 — 744B/40B actifs, leader de SWE-Bench Pro

• Locations de GPU pas chères : Louez une RTX 4090 à partir de 0,14–0,42 $/h ou RTX 3090 à partir de 0,07–0,21 $/h

• Place de marché Clore.ai : clore.ai/marketplace — catalogue complet de GPU avec tarification à la demande et au marché spot

Liens

• Ling-2.6-flash sur HuggingFace

• organisation inclusionAI — le laboratoire d'IA open source d'Ant Group

• dépôt SGLang — framework de service recommandé

• documentation vLLM

• classement BFCL-V4 — Berkeley Function Calling