MiMo-V2.5-Pro (Xiaomi 1T MoE)

Deploye MiMo-V2.5-Pro (1,02T MoE, 42B aktiv, 1M Kontext) von Xiaomi auf Clore.ai — die erste Open-Weight-Pro-Stufe vom MiMo-Team, FP8-nativ, hybride Attention

Status (April 2026): MiMo-V2.5-Pro wurde am 27. April 2026 von Xiaomis KI-Abteilung als erstes Open-Weight-Modell in ihrer Pro Stufe veröffentlicht — das frühere MiMo-V2-Pro war nur per API verfügbar und hatte keine öffentlichen Gewichte. Die Gewichte sind unter huggingface.co/XiaomiMiMo/MiMo-V2.5-Pro unter der MIT-Lizenz. Die Model Card wurde zuletzt am 28. April 2026 aktualisiert, daher landen Bereitstellungstools, Community-Quants und Reproduktionen weiterhin Tag für Tag.

MiMo-V2.5-Pro ist ein 1,02-Billionen-Parameter-Mixture-of-Experts -Modell, das nur ~42B Parameter pro Tokenaktiviert. Das MiMo-Team — angeführt von dem ehemaligen DeepSeek-Forscher Luo Fuli — entwarf es um zwei Ideen herum: ein hybrides Attention-Schema das Sliding Window Attention (SWA) und Global Attention (GA) im Verhältnis 6:1 kombiniert (~7× weniger KV-Cache mit einem 128-Token-Fenster) sowie 3 leichte Multi-Token-Prediction-(MTP)-Module die ungefähr 3× Ausgabegeschwindigkeit bei autoregressiven Workloads liefern. Die Architektur hat 70 Schichten (1 dense + 69 MoE), eine Hidden Size von 6144 und wird nativ in FP8 E4M3 Mixed Precision.

Für Clore.ai-Nutzer sind zwei Dinge wichtig. Erstens ist dies die erste MiMo-Pro-Veröffentlichung mit öffentlichen Gewichten: Frühere Pro-Varianten existierten nur als gehostete API und als heimlich getestetes "Hunter Alpha"-Modell auf OpenRouter (Zeitachse März 2026). Zweitens MIT-Lizenz hebt die kommerziellen Einschränkungen vollständig auf — Fine-Tuning, Weiterverbreitung, Betrieb als kostenpflichtiger Endpunkt, ohne Vorbehalte. Xiaomis Ankündigung zur Markteinführung behauptet, dass V2.5-Pro DeepSeek V4 bei agentischen Aufgaben übertrifft, aber dieser Benchmark stammt nur vom Hersteller — eine Reproduktion durch Dritte steht noch aus, und du solltest ihn extern nicht ohne diesen Vorbehalt zitieren.

Wichtige Spezifikationen

Eigenschaft

Wert

Gesamtparameter

1,02T (MoE)

Aktive Parameter

~42B pro Forward-Pass

Kontextfenster

1.000.000 Token (1M)

Präzision

FP8 E4M3 Mixed (nativ)

Architektur

Hybride SWA + GA (6:1), 70 Schichten (1 dense + 69 MoE), Hidden Size 6144

KV-Cache

Sliding-Window 128, ~7× Reduktion gegenüber vollständiger GA

Spekulatives Decoding

3 leichte MTP-Module, ~3× Ausgabegeschwindigkeit

Lizenz

MIT

Veröffentlichungsdatum

27. April 2026

Organisation

Xiaomi-MiMo-Team (XiaomiMiMo auf HuggingFace)

Primäre Tools

SGLang (erstklassig), vLLM

Warum MiMo-V2.5-Pro?

Erstes offenes MiMo der Pro-Stufe — der Vorgänger MiMo-V2-Pro war nur per API verfügbar, dies ist das erste Mal, dass die Pro-Gewichte öffentlich sind
1M-Token-Kontext — bewältigt ganze Codebasen, lange Agentenspuren oder mehrdokumentiges RAG ohne Chunking
Hybride Attention — SWA + GA im Verhältnis 6:1 reduziert den KV-Cache um ~7× gegenüber reiner globaler Attention; lange Kontexte bleiben beherrschbar
Natives FP8 — keine nachträgliche Quantisierung, die Gewichte werden direkt vom Hersteller in FP8 E4M3 ausgeliefert
MTP-spekulatives Decoding — 3 integrierte MTP-Module liefern sofort ~3× Decoding-Durchsatz
MIT-Lizenz — keine kommerziellen Einschränkungen, keine Limits für den Einsatzzweck
42B aktiv — trotz der Schlagzeile von 1,02T zahlst du die Inferenzkosten eines 42B-dichten Modells
Abstammung — die leitende Forscherin Luo Fuli war zuvor bei DeepSeek, und die architektonischen Entscheidungen zeigen

Anforderungen

Multi-GPU-Rigs der 80-GB-Klasse sind nicht im Clore.ai-Marktplatz gelistet. Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96GB, insgesamt 380GB) und 8–11× RTX 5090 (je 32GB). A100 / H200 / B200-Kapazität wird als Bare Metal auf Anfrage verkauft. Prüfe GPU-Preise und Verfügbarkeit bevor du eine Bereitstellung dimensionierst.

Immer noch ein 1T-Modell. "42B aktiv" klingt freundlich, aber die vollständigen 1,02T-Gewichte müssen im VRAM liegen (oder aggressiv ausgelagert werden). Native FP8-Gewichte benötigen ~600GB+ VRAM vor Aktivierungsspeicher und KV-Cache. Plane für 8×H200 oder größer für vollständiges Kontext-FP8.

Komponente

Minimum (Quantisierung + Offload, künftig)

Option A — Ollama / GGUF (quantisiert, Community-Builds)

Hinweis: Stand: 28. April 2026 (einen Tag nach der Veröffentlichung) Community-GGUF-Quants für MiMo-V2.5-Pro sind noch nicht veröffentlicht. Es ist zu erwarten, dass Q4_K_M / Q5_K_M / Q6_K-Builds innerhalb von 1–2 Wochen unter huggingface.co/models?search=mimo-v2.5-pro+gguferscheinen. Bis dahin ist FP8 über SGLang oder vLLM der unterstützte Weg.

# Sobald ein Q4_K_M-Build verfügbar ist
docker exec ollama ollama pull mimo-v2.5-pro:q4_K_M
docker exec ollama ollama run mimo-v2.5-pro:q4_K_M

# Oder direkt mit llama.cpp auf einer GGUF-Datei (wenn veröffentlicht)
docker run --gpus all -it --rm -p 8080:8080 \\
  -v $(pwd)/models:/models \\
  ghcr.io/ggerganov/llama.cpp:server-cuda \\
  -m /models/mimo-v2.5-pro-q4_k_m.gguf \\
  --n-gpu-layers 99 --ctx-size 65536 \\
  --port 8080 --host 0.0.0.0

Option B — vLLM (Produktions-API, empfohlen)

vLLM unterstützt MiMo-V2.5-Pro über --trust-remote-code (die hybriden Attention- und MTP-Module werden als benutzerdefinierter Code im Repo ausgeliefert). Verwende die standardmäßigen Sampling-Einstellungen des Herstellers: temperature 1.0, top_p 0.95.

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model XiaomiMiMo/MiMo-V2.5-Pro
      --tensor-parallel-size 8
      --quantization fp8
      --max-model-len 262144
      --gpu-memory-utilization 0.90
      --trust-remote-code
      --served-model-name mimo-v2.5-pro
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# Teste die API (vom Hersteller empfohlenes Sampling)
curl http://localhost:8000/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "mimo-v2.5-pro",
    "messages": [
      {"role": "system", "content": "Du bist ein autonomer Coding-Agent."},
      {"role": "user", "content": "Gehe dieses 30K-Zeilen-Monorepo durch und schlage einen Migrationsplan von Express 4 zu Fastify 5 vor."}
    ],
    "max_tokens": 8192,
    "temperature": 1.0,
    "top_p": 0.95
  }'

Auf 8×H100 80GB begrenze --max-model-len auf 262144 (256K), um Spielraum für Aktivierungen + KV-Cache zu lassen. Auf 8×H200 141GB kannst du bequem auf 524288 oder höher gehen; 1.048.576 (vollständige 1M) ist machbar, aber erwarte lange Prefill-Zeiten — teste es, bevor du dich darauf verlässt.

Option C — SGLang (für maximalen Durchsatz empfohlen)

SGLang ist das erstklassige Serving-Ziel in der MiMo-V2.5-Pro-Model Card. Der Hersteller veröffentlicht den Startbefehl mit SGLANG_ENABLE_SPEC_V2=1 um den neuen MTP-bewussten Pfad für spekulatives Decoding zu aktivieren, und genau dort entsteht die ~3×-Beschleunigung beim Decoding tatsächlich.

docker pull lmsysorg/sglang:latest

# Wörtlich aus der HF-Model-Card
SGLANG_ENABLE_SPEC_V2=1 python3 -m sglang.launch_server \\
    --model-path XiaomiMiMo/MiMo-V2.5-Pro \\
    --trust-remote-code \\
    --quantization fp8 \\
    --context-length 1048576 \\
    --host 0.0.0.0 --port 9001

Für ein Multi-GPU-TP-Setup auf 8×H200 füge --tp-size 8 und --mem-fraction-static 0.88hinzu. Stelle mit nvidia-smi sicher, dass alle 8 Karten belegt sind, bevor du echten Traffic sendest — der 1M-Kontext verzeiht es nicht, wenn ein Rank unterversorgt ist.

Clore.ai-GPU-Empfehlungen

Konfiguration

VRAM

Erwartete Leistung

Clore.ai-Kosten

4× H100 80GB

320GB

FP8 mit starkem Offload, max. ctx ~64K, ~10–15 tok/s

~$4,16/h

8× H100 80GB

640GB

FP8 voll, max. ctx ~256K, ~30–45 tok/s

~$8,32/h

8× H200 141GB

1,128GB

FP8 voll, max. ctx 1M, ~60+ tok/s mit MTP

Bare Metal

8× B200

1,536GB

FP8 voll, max. ctx 1M, schnellste verfügbare

Marktplatzpreis

Beste Qualität: 8× H200 141GB auf dem FP8-Checkpoint (Bare Metal) SGLANG_ENABLE_SPEC_V2=1Du erhältst das vollständige 1M-Kontextfenster, MTP-spekulatives Decoding und genügend KV-Cache-Puffer für echte Agentenschleifen. Siehe clore.ai/rent-h200.html für die aktuelle Verfügbarkeit.

Anwendungsfälle

Agenten mit langem Planungshorizont — das MiMo-Team optimiert ausdrücklich für dauerhaftes Tool-Calling. Der 1M-Kontext plus MTP-Beschleunigung bedeutet tausende Tool-Aufrufe ohne Chunking-Akrobatik.
Analyse ganzer Codebasen — wirf ein 500K-Token-Monorepo in den Kontext für Refaktorierungsplanung, Abhängigkeitsprüfungen oder Migrationsdesign
RAG mit langen Dokumenten — ganze Bücher, mehrjährige Kundentranskripte oder jahrelange Chatverläufe passen in einen einzigen Prompt
Programmierung — die vom Hersteller behaupteten 75,6 % bei HumanEval+ und die agentische Ausrichtung machen es zu einem Kandidaten für autonome SWE-Workloads (kombiniere es mit SWE-agent / OpenHands)
Forschungs-Skizzenblock — 1M Kontext verkraftet die Art von Nutzung, bei der man "das ganze Paper einfügen, die Vorarbeit einfügen und um Synthese bitten" will, die kleinere Modelle abschneiden

Benchmarks

Vom Hersteller behauptet — noch keine Reproduktion durch Dritte. Alle Zahlen unten stammen aus Xiaomis Ankündigung vom 27. April 2026 und der HuggingFace-Model-Card. Das Modell ist zwei Tage alt zum Zeitpunkt des Schreibens — unabhängige Reproduktionen bei agentischen und Langkontext-Benchmarks stehen noch aus. Insbesondere die Behauptung "übertrifft DeepSeek V4 bei agentischen Aufgaben" stammt aus Xiaomis eigener Veröffentlichung; behandle sie bis zur Reproduktion als Marketing.

Benchmark

MiMo-V2.5-Pro (Hersteller)

Hinweise

GSM8K

99.6%

Mathe-Textaufgaben

HumanEval+

75.6%

Programmierung (erweitert)

MMLU

89.4%

Allgemeinwissen

GraphWalks (1M ctx) BFS

0.37

Graph-Durchlauf mit langem Kontext

GraphWalks (1M ctx) Parents

0.62

Graph-Durchlauf mit langem Kontext

Agentische Aufgaben vs. DeepSeek V4

"übertrifft" (Hersteller)

Nicht verifiziert — Reproduktion durch Dritte steht noch aus

Fehlerbehebung

Problem

Lösung

OutOfMemoryError beim Laden

Natives FP8 benötigt weiterhin ~600GB+ VRAM. Verwende 8× H200 oder reduziere --context-length auf 65536 auf 8× H100.

Langsamer HuggingFace-Download

huggingface-cli download XiaomiMiMo/MiMo-V2.5-Pro --local-dir ./weights --resume-download. Erwarte ~600GB FP8.

--trust-remote-code abgelehnt

Hybride Attention und MTP werden als benutzerdefinierter Code im Repo ausgeliefert. Das Flag ist zwingend erforderlich für sowohl vLLM als auch SGLang.

MTP-Beschleunigung erscheint nicht in SGLang

Stelle sicher SGLANG_ENABLE_SPEC_V2=1 im selben Shell-Kontext exportiert ist wie python3 -m sglang.launch_server. Der Standardpfad aktiviert MTP nicht.

Denkspur flach / geringe Qualität

Verwende temperature=1.0 und top_p=0.95. Niedrigere Temperaturen verschlechtern MiMos Denkverhalten.

1M-Kontext verursacht OOMs auf 8× H100

8× H100 80GB kann den KV-Cache für 1M Token nicht halten. Begrenze auf 256K oder wechsle zu 8× H200.

Prefill dauert Minuten

Bei 1M Kontext erwartet. Verwende --enable-chunked-prefill (vLLM) oder bündele kürzere Anfragen für interaktive Workloads.

GGUF-/Ollama-Pull schlägt fehl

Community-Quants sind zum 28. April 2026 noch nicht veröffentlicht. Warte 1–2 Wochen oder verwende direkt FP8.

Nächste Schritte

Vorgänger / Geschwistermodell: MiMo-V2-Flash — 309B MoE, 15B aktiv, 32K ctx, schneller, aber kleiner
Vom Hersteller genannter Rivale: DeepSeek V4 — 1M ctx, multimodal, ~1T Parameter (das Modell, das Xiaomi zufolge bei agentischen Aufgaben übertroffen wurde)
Offener Coding-Rivale: GLM-5.1 — 744B MoE, 40B aktiv, MIT, derzeit #1 auf SWE-Bench Pro
H200-Kapazität: Bare Metal auf Anfrage — beste Passung für vollständiges FP8 1T MoE bei 1M Kontext
Clore.ai-Marktplatz: clore.ai/marketplace

Links

VorherigeHy3-Vorschau (Tencent Hunyuan 3, 295B MoE)

NächsteMiniMax M2.7 (229B MoE Coding)

Zuletzt aktualisiert vor 1 Monat

War das hilfreich?