Mistral Large 3 (675B MoE)

Führe Mistral Large 3 aus — ein 675B MoE-Frontier-Modell mit 41B aktiven Parametern auf Clore.ai-GPUs

Mistral Large 3 ist Mistral AIs leistungsstärkstes Open-Weight-Modell, veröffentlicht im Dezember 2025 unter der Apache-2.0-Lizenz. Es ist ein Mixture-of-Experts-(MoE)-Modell mit insgesamt 675B Parametern, aber nur 41B aktiven pro Token — und liefert Spitzenklasse-Performance bei einem Bruchteil des Compute-Aufwands eines dichten 675B-Modells. Mit nativer multimodaler Unterstützung (Text + Bilder), einem Kontextfenster von 256K und agentischen Fähigkeiten der Spitzenklasse konkurriert es direkt mit GPT-4o und Claude-Klasse-Modellen, während es vollständig selbst hostbar ist.

HuggingFace: mistralai/Mistral-Large-3-675B-Instruct-2512 Ollama: mistral-large-3:675b Lizenz: Apache 2.0

Hauptfunktionen

• 675B insgesamt / 41B aktive Parameter — MoE-Effizienz bedeutet, dass Sie Spitzenleistung erhalten, ohne jeden Parameter zu aktivieren

• Apache-2.0-Lizenz — vollständig offen für kommerzielle und private Nutzung, ohne Einschränkungen

• Nativ multimodal — versteht sowohl Text als auch Bilder über einen 2,5B Vision-Encoder

• 256K-Kontextfenster — verarbeitet massive Dokumente, Codebasen und lange Gespräche

• Agentische Fähigkeiten der Spitzenklasse — natives Function Calling, JSON-Modus, Tool-Nutzung

• Mehrere Bereitstellungsoptionen — FP8 auf H200/B200, NVFP4 auf H100/A100, GGUF quantisiert für Consumer-GPUs

Modellarchitektur

Komponente	Details
Architektur	Granular Mixture-of-Experts (MoE)
Gesamtparameter	675B
Aktive Parameter	41B (pro Token)
Vision-Encoder	2,5B Parameter
Kontextfenster	256K Tokens
Training	3.000× H200-GPUs
Veröffentlichung	Dezember 2025

Anforderungen

Multi-GPU-Rigs der 80GB-Klasse sind auf dem Clore.ai-Marktplatz nicht gelistet. Die größten heute gelisteten Systeme sind 4× RTX PRO 6000 Blackwell (je 96 GB, 380 GB gesamt) und 8–11× RTX 5090 (je 32 GB). Kapazitäten für A100 / H200 / B200 werden als Bare Metal auf Anfrage verkauft. Prüfe GPU-Preise & Verfügbarkeit bevor du eine Bereitstellung dimensionierst.

Konfiguration	Budget (Q4 GGUF)	Standard (NVFP4)	Voll (FP8)
GPU	4× RTX 4090	8× A100 80GB	8× H100/H200
VRAM	4×24GB (96GB)	8×80GB (640GB)	8×80GB (640GB)
RAM	128GB	256 GB	256 GB
Festplatte	400GB	700GB	1,4TB
CUDA	12.8+	12.8+	12.8+

Empfohlene Clore.ai-Konfiguration:

• Bestes Preis-Leistungs-Verhältnis: 4× RTX 4090 ($0.56–1.68/Std.) — Q4-GGUF-Quantisierung über llama.cpp oder Ollama ausführen

• Produktionsqualität: 8× A100 80GB (Bare Metal) — NVFP4 mit vollem Kontext über vLLM

• Maximale Leistung: 8× H100 (~$8.32/Std.) — FP8, voller 256K-Kontext

Schnellstart mit Ollama

Der schnellste Weg, Mistral Large 3 auf einer Multi-GPU-Clore.ai-Instanz auszuführen:

# Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh

# Führen Sie das 675B-Modell aus (erfordert Multi-GPU, ~96GB+ VRAM für Q4)
ollama run mistral-large-3:675b

# Für die kleineren dichten Varianten (Single-GPU):
ollama run mistral3:14b    # 14B dicht — passt auf RTX 3060+
ollama run mistral3:8b     # 8B dicht — passt auf jede GPU

Schnellstart mit vLLM (Produktion)

Für eine Produktionsbereitstellung mit OpenAI-kompatibler API:

# vLLM installieren
pip install vllm

# Bereitstellung mit NVFP4-Quantisierung auf 8× A100/H100
vllm serve mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4 \\
    --tensor-parallel-size 8 \
    --tokenizer-mode mistral \
    --config-format mistral \
    --load-format mistral \
    --max-model-len 65536 \
    --gpu-memory-utilization 0.90 \\
    --enable-auto-tool-choice \\
    --tool-call-parser mistral \
    --host 0.0.0.0 \
    --port 8000

# Für FP8 (Originalgewichte, höchste Qualität):
vllm serve mistralai/Mistral-Large-3-675B-Instruct-2512 \\
    --tensor-parallel-size 8 \
    --tokenizer-mode mistral \
    --config-format mistral \
    --load-format mistral \
    --max-model-len 131072 \\
    --host 0.0.0.0 \
    --port 8000

Anwendungsbeispiele

1. Chat-Vervollständigung (OpenAI-kompatible API)

Sobald vLLM läuft, verwenden Sie einen beliebigen OpenAI-kompatiblen Client:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4",
    messages=[
        {"role": "system", "content": "Du bist ein hilfreicher Coding-Assistent."},
        {"role": "user", "content": "Schreibe einen asynchronen Python-Web-Scraper mit aiohttp und BeautifulSoup."}
    ],
    temperature=0.1,
    max_tokens=4096
)

print(response.choices[0].message.content)

2. Function Calling / Tool-Nutzung

Mistral Large 3 glänzt beim strukturierten Tool-Calling:

import json
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="n/a")

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Aktuelles Wetter für einen Ort abrufen",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {"type": "string", "description": "Stadtname"},
                    "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]}
                },
                "required": ["location"]
            }
        }
    }
]

response = client.chat.completions.create(
    model="mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4",
    messages=[{"role": "user", "content": "Wie ist das Wetter in Tokio?"}],
    tools=tools,
    tool_choice="auto"
)

tool_call = response.choices[0].message.tool_calls[0]
print(f"Funktion: {tool_call.function.name}")
print(f"Argumente: {tool_call.function.arguments}")

3. Vision — Bildanalyse

Mistral Large 3 versteht Bilder nativ:

import base64
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="n/a")

# Bild kodieren
with open("diagram.png", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Beschreibe dieses Architekturdiagramm detailliert."},
            {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_b64}"}}
        ]
    }],
    max_tokens=2048
)

print(response.choices[0].message.content)

Tipps für Clore.ai-Nutzer

1. Starten Sie mit NVFP4 auf A100s — Der Mistral-Large-3-675B-Instruct-2512-NVFP4 Checkpoint ist speziell für A100/H100-Knoten konzipiert und bietet nahezu verlustfreie Qualität bei halb so hohem Speicherbedarf wie FP8.

2. Ollama für schnelle Experimente verwenden — Wenn Sie eine 4× RTX 4090-Instanz haben, verarbeitet Ollama GGUF-Quantisierung automatisch. Perfekt zum Testen, bevor Sie sich für ein vLLM-Produktionssetup entscheiden.

3. Die API sicher freigeben — Wenn Sie vLLM auf einer Clore.ai-Instanz ausführen, verwenden Sie SSH-Tunneling (ssh -L 8000:localhost:8000 root@<ip>) anstatt Port 8000 direkt freizugeben.

4. Niedriger max-model-len um VRAM zu sparen — Wenn Sie den vollen 256K-Kontext nicht benötigen, setzen Sie --max-model-len 32768 oder 65536 um die KV-Cache-Speichernutzung deutlich zu reduzieren.

5. Die dichten Alternativen in Betracht ziehen — Für Single-GPU-Setups liefert Mistral 3 14B (mistral3:14b in Ollama) hervorragende Leistung auf einer einzelnen RTX 4090 und stammt aus derselben Modellfamilie.

Fehlerbehebung

Problem	Lösung
CUDA-Speicher erschöpft auf vLLM	Reduziere --max-model-len (probieren Sie 32768), erhöhen Sie --tensor-parallel-size, oder verwenden Sie das NVFP4-Checkpoint
Langsame Generierungsgeschwindigkeit	Stelle sicher --tensor-parallel-size passt zu Ihrer GPU-Anzahl; aktivieren Sie speculative decoding mit Eagle-Checkpoint
Ollama lädt 675B nicht	Stellen Sie sicher, dass Sie über alle GPUs hinweg 96GB+ VRAM haben; Ollama benötigt OLLAMA_NUM_PARALLEL=1 für große Modelle
tokenizer_mode mistral Fehler	Sie müssen alle drei Flags übergeben: --tokenizer-mode mistral --config-format mistral --load-format mistral
Vision funktioniert nicht	Stellen Sie sicher, dass Bilder nahe an einem 1:1-Seitenverhältnis sind; vermeiden Sie sehr breite/schlanke Bilder für beste Ergebnisse
Download zu langsam	Verwende huggingface-cli download mistralai/Mistral-Large-3-675B-Instruct-2512-NVFP4 mit HF_TOKEN setzen

Weiterführende Lektüre

• Mistral-3-Ankündigungsblog — Offizieller Launch-Beitrag mit Benchmarks

• HuggingFace-Modellkarte — Bereitstellungsanweisungen und Benchmark-Ergebnisse

• NVFP4-quantisierte Version — Optimiert für A100/H100

• GGUF-quantisiert (Unsloth) — Für llama.cpp und Ollama

• vLLM-Dokumentation — Produktions-Serving-Framework

• Red-Hat-Day-0-Leitfaden — Schritt-für-Schritt-vLLM-Bereitstellung