Ling-2.6-flash (Ant Group 104B MoE)

Deploye Ling-2.6-flash (104B MoE, 7,4B aktiv) von Ant Group auf Clore.ai — das auf Agenten abgestimmte Flash-Geschwistermodell, das auf eine einzelne RTX 4090 passt

Status (29. April 2026): Ling-2.6-flash wurde von Ant Group veröffentlicht inclusionAI Team am 28. April 2026 (zum Zeitpunkt des Schreibens vor einem Tag). Es ist das kleine, schnelle, auf Agenten feinabgestimmte Geschwistermodell von Ling-2.5-1T — gleiche Abstammung, gleiche hybride lineare Attention-DNA, aber nur mit 7,4B aktiven Parametern von einem sparsamen 104B-MoE. Die Gewichte liegen unter huggingface.co/inclusionAI/Ling-2.6-flash unter der MIT-Lizenz.

Wo Ling-2.5-1T ein 8-GPU-Rack brauchte, nur um überhaupt zu starten, ist Ling-2.6-flash das erste inclusionAI-Release, das auf eine einzelne Consumer-GPU passt. Der aktive Pfad mit 7,4B bedeutet, dass Sie die Inferenzkosten eines 8B-Dichtmodells zahlen, während Sie auf einen 104B-Parameter-Pool zugreifen — und Ant Group hat diesen Pool speziell für agentische Workflows: Tool-Aufrufe, mehrstufige Planung und strukturierte Funktionsaufrufe.

Vom Anbieter veröffentlichte Zahlen setzen Ling-2.6-flash für seine Größenklasse bei BFCL-V4 und TAU2-bench an die Spitze, mit einem Durchsatz von etwa 340 tok/s auf 4× H20 in der offiziellen Benchmark-Konfiguration. Für Clore.ai-Nutzer ist die interessantere Zahl viel kleiner: INT4 passt bequem auf eine einzelne RTX 4090 (24GB) mit Spielraum für einen 32K+-Kontext, und FP8 passt auf eine einzelne H100 80GB. Das setzt ein frisch agentisch feinabgestimmtes Small Model der Frontier-Klasse zu rund ~1,04 $/h auf dem Clore.ai-Marktplatz.

Wichtige Spezifikationen

Eigenschaft

Wert

Gesamtparameter

104B (MoE)

Aktive Parameter

7,4B pro Forward-Pass

Architektur

1:7 MLA + Lightning Linear Hybrid-Attention

Kontextfenster

262.144 Token

Quantisierungen

BF16, FP8, INT4

Lizenz

MIT

Veröffentlichungsdatum

28. April 2026

Organisation

Ant Group — inclusionAI

Primäre Tools

SGLang (empfohlen), vLLM, llama.cpp/Ollama (Community-GGUF)

Warum Ling-2.6-flash?

Auf einer einzelnen GPU einsetzbar — INT4 auf einer einzelnen RTX 4090 oder RTX 3090, FP8 auf einer einzelnen H100. Kein Multi-GPU-Drama, kein NVLink-Gefrickel.
Auf Agenten feinabgestimmt — ausdrücklich für BFCL-V4-/TAU2-bench-ähnliche Tool-Calling-Schleifen trainiert, nicht nur im Nachhinein darauf benchmarked.
Sparse-MoE-Qualität bei 7,4B aktiven Kosten — Sie erhalten einen Wissenspool mit 104B Parametern über einen Inferenzpfad von 7,4B.
256K Kontext von Haus aus — 262K native Tokens, keine YaRN-Tricks für lange Agenten-Traces nötig.
MIT-Lizenz — vollständig kommerziell nutzbar, feinabstimmbar, weiterverteilbar.
Abstammung — direkter Nachfahre von Ling-2.5-1T und Ring-2.5; die Architektur ist kampferprobt.

Anforderungen

Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet. Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als Bare Metal auf Anfrage verkauft. Prüfe GPU-Preise & Verfügbarkeit bevor du eine Bereitstellung dimensionierst.

Clore-freundlich. Dies ist das erste Modell im inclusionAI-Line-up, das auf einer einzelnen Consumer-GPU läuft. Wenn Sie sich bislang Ling-2.5-1T oder GLM-5.1, das ist der Einstiegspunkt.

Komponente

INT4 (eine einzelne 24GB)

FP8 (eine einzelne 80GB)

BF16 (volle Qualität)

GPU-VRAM

1× RTX 4090 / 3090 (24GB)

1× H100 / A100 80GB

2× A100 80GB oder 1× H200 141GB

RAM

32 GB

64 GB

128GB

Festplatte

60 GB NVMe

120GB NVMe

220GB NVMe

CUDA

12.8+

Praktischer Kontext

32K–64K

128K

256K

Clore.ai-Wahl: Für die meisten Agenten-Workloads ist ein einzelnes RTX 4090 ($0.14–0.42/Std.) Das Betreiben eines INT4-GGUF ist preislich unschlagbar. Steigen Sie auf eine einzelne H100 um, wenn Sie FP8-Qualität oder 128K+-Kontext benötigen.

Option A — Ollama / GGUF (quantisiert, einzelne GPU)

Dies ist der Pfad, den die meisten Clore.ai-Nutzer wollen. Community-GGUFs erscheinen auf HuggingFace typischerweise innerhalb weniger Tage nach einem inclusionAI-Release.

Hinweis zum ersten Tag: Ling-2.6-flash erschien am 28. April 2026. Zum Zeitpunkt dieses Schreibens könnten die Community-Quantisierungen als GGUF noch unterwegs sein. Beobachten Sie huggingface.co/models?search=ling-2.6-flash+gguf und unsloth für erste Builds. Wenn ollama pull 404 zurückgibt, verweisen Sie llama.cpp direkt auf die GGUF-Datei.

# Sobald ein Community-Build Q4_K_M veröffentlicht wurde
docker exec ollama ollama pull ling-2.6-flash:q4_K_M
docker exec ollama ollama run ling-2.6-flash:q4_K_M

# Oder mit llama.cpp direkt auf einem heruntergeladenen GGUF
docker run --gpus all -it --rm -p 8080:8080 \\
  -v $(pwd)/models:/models \\
  ghcr.io/ggerganov/llama.cpp:server-cuda \\
  -m /models/ling-2.6-flash-q4_k_m.gguf \\
  --n-gpu-layers 99 --ctx-size 32768 \\
  --port 8080 --host 0.0.0.0

Eine einzelne RTX 4090 sollte ~80–120 tok/s bei Q4_K_M mit einem 32K-Kontext erreichen — mehr als genug für interaktive Agentenarbeit.

Option B — vLLM (Produktions-API)

vLLM ist die erste Wahl, um Ling-2.6-flash mehreren gleichzeitig laufenden Agenten bereitzustellen. Verwenden Sie den FP8-Checkpoint auf einer einzelnen H100 / A100 80GB:

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model inclusionAI/Ling-2.6-flash-FP8
      --tensor-parallel-size 1
      --max-model-len 65536
      --gpu-memory-utilization 0.90
      --enable-auto-tool-choice
      --tool-call-parser hermes
      --served-model-name ling-2.6-flash
      --trust-remote-code
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# Den Agentenpfad testen
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "ling-2.6-flash",
    "messages": [
      {"role": "system", "content": "Du bist ein Agent mit Zugriff auf Tools. Plane, rufe Tools auf, antworte dann."},
      {"role": "user", "content": "Finde mir jetzt die günstigste RTX 4090 auf Clore.ai."}
    ],
    "tools": [{"type": "function", "function": {"name": "search_marketplace", "parameters": {"type":"object","properties":{"gpu":{"type":"string"}}}}}],
    "tool_choice": "auto",
    "max_tokens": 2048
  }'

Für BF16-volle Qualität bei langen Kontexten (200K+), skalieren Sie --tensor-parallel-size 2 über 2× A100 80GB oder binden Sie es an eine einzelne H200 141GB.

Option C — SGLang (empfohlen für maximalen Durchsatz)

SGLang ist das, was Ant Group für den offiziellen 340 tok/s-Benchmark verwendet — der hybride lineare Attention-Pfad ist unter der Laufzeitumgebung von SGLang am schnellsten.

docker pull lmsysorg/sglang:latest

python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-2.6-flash-FP8 \\
  --tp-size 1 \\
  --tool-call-parser hermes \\
  --mem-fraction-static 0.90 \\
  --context-length 65536 \\
  --served-model-name ling-2.6-flash \\
  --host 0.0.0.0 --port 30000

# Um die vom Anbieter gemeldeten 340 tok/s zu reproduzieren (erfordert 4x H20 / H100-Klasse)
python3 -m sglang.launch_server \
  --model-path inclusionAI/Ling-2.6-flash \\
  --tp-size 4 \\
  --mem-fraction-static 0.92 \\
  --context-length 32768 \\
  --served-model-name ling-2.6-flash

GPU-Empfehlungen für Clore.ai

Einrichtung

VRAM

Quant

Erwarteter Durchsatz

Clore.ai-Kosten

1× RTX 3090

24 GB

INT4 GGUF

~60–90 tok/s

ca. 0,07–0,21 $/h

1× RTX 4090

24 GB

INT4 GGUF

~80–120 tok/s

ca. 0,14–0,42 $/h

1× A100 80GB

80 GB

FP8

~120–180 tok/s

Bare Metal

1× H100 80GB

80 GB

FP8

~150–220 tok/s

~$1.04/hr

4× H100 80 GB

320 GB

BF16 + TP=4

~340 tok/s (Anbieter)

~$4,16/h

Bestes Preis-Leistungs-Verhältnis: Eine einzelne RTX 4090 für 0,14–0,42 $/h, die den Q4_K_M-GGUF ausführt. Sie erhalten ein auf Agenten feinabgestimmtes, MIT-lizenziertes 104B-MoE-Modell mit 32K-Kontext für weniger als den Preis eines Kaffees pro Stunde. Genau für diese Bereitstellungsform wurde der Consumer-GPU-Marktplatz von Clore.ai gebaut.

Anwendungsfälle

Agenten mit Tool-Aufrufen — das Tuning für BFCL-V4 und TAU2-bench bedeutet, dass strukturierte Funktionsaufrufe eine Stärke sind, kein Nebengedanke.
Mehrstufige Planungs-Schleifen — anhaltende Chain-of-Tool-Call-Traces ohne das für kleine Modelle typische Abdriften.
Lokaler Ersatz für Claude Code / OpenHands — direkt einsetzbare OpenAI-kompatible API auf Ihrer eigenen RTX 4090.
Agentische Batch-Jobs mit hohem Volumen — 340 tok/s auf 4×H100 machen dies praktikabel, um Tausende von Agenten-Transkripten pro Stunde zu verarbeiten.
RAG mit langem Kontext — 256K nativer Kontext deckt die meisten Unternehmensdokument-Sets in einer einzigen Eingabe ab.
Günstige Dev-Sandbox für Ling-2.5-1T Workflows — prototypisieren Sie auf Flash, deployen Sie auf der 1T-Variante.

Benchmarks

Vom Anbieter behauptet — unabhängig prüfen. Alle untenstehenden Zahlen stammen aus der Modellkarte von inclusionAI vom 28. April 2026. Das Modell ist einen Tag alt; Community-Reproduktionen auf BFCL-V4 und TAU2-bench wurden noch nicht veröffentlicht. Betrachten Sie diese Werte als Richtwerte, nicht als absolute Wahrheit.

Benchmark

Ling-2.6-flash (Anbieter)

Hinweise

BFCL-V4

Spitze in seiner Größenklasse

Berkeley Function Calling Leaderboard v4

TAU2-bench

Spitze in seiner Größenklasse

Tool-Agent-Benchmark v2

SWE-bench Verified / Resolved

~61.2%

Lösungsrate auf dem verifizierten Split

MathArena AIME 2026

73.85

MathArena HMMT Feb 2026

49.29

Durchsatz

~340 tok/s

4× H20-3e, TP=4, Batch 32

Fehlerbehebung

Problem

Lösung

OutOfMemoryError auf einer RTX 4090

Auf Q4_K_S oder Q3_K_M heruntergehen; reduzieren --ctx-size auf 16384; andere GPU-Prozesse schließen

GGUF noch nicht auf HuggingFace

Modell ist einen Tag alt. Prüfen Sie unsloth, bartowskiund TheBloke Mirrors; oder quantisieren Sie aus BF16 selbst mit llama-quantize

vLLM lehnt die Architektur ab

Stellen Sie sicher, dass vLLM ≥ 0.7.x mit --trust-remote-code; die hybriden linearen Attention-Layer sind benutzerdefiniert

Tool-Aufrufe werden in vLLM als Klartext zurückgegeben

Setze --enable-auto-tool-choice --tool-call-parser hermes ; SGLang handhabt das automatisch

Langsames Prefill bei langen Kontexten

Lineare Attention hat Warm-up-Overhead; die erste Anfrage ist immer die langsamste. Verwenden Sie --enable-chunked-prefill in vLLM

Durchsatz deutlich unter 340 tok/s

Die Anbieterzahl basiert auf 4× H20 mit TP=4 und Batch 32. Single-GPU + Batch 1 ist naturgemäß viel langsamer — das ist zu erwarten, kein Fehler

Verwürfelte Ausgabe bei hoher Temperatur

Reduziere auf temperature=0.7 für Chat, 0.1 für Tool-Aufrufe

Nächste Schritte

Größeres Geschwistermodell: Ling-2.5-1T — gleiche Familie, insgesamt 1T / 63B aktiv, Frontier-Reasoning zu Multi-GPU-Kosten
Ähnlicher Agent mit nur einer GPU: MiMo-V2-Flash — 309B/15B aktiv mit integriertem spekulativem Decoding
Open-Weight-Coding-Alternative: GLM-5.1 — 744B/40B aktiv, Spitzenreiter auf SWE-Bench Pro
Günstige GPU-Mieten: RTX 4090 mieten ab 0,14–0,42 $/h oder RTX 3090 ab 0,07–0,21 $/h
Clore.ai-Marktplatz: clore.ai/marketplace — vollständiger GPU-Katalog mit On-Demand- und Spot-Preisen

Wichtige Spezifikationen

Warum Ling-2.6-flash?

Anforderungen

Option A — Ollama / GGUF (quantisiert, einzelne GPU)

Option B — vLLM (Produktions-API)

Option C — SGLang (empfohlen für maximalen Durchsatz)

GPU-Empfehlungen für Clore.ai

Anwendungsfälle

Benchmarks

Fehlerbehebung

Nächste Schritte

Links