CUDA- & PyTorch-Kompatibilität

Wähle einen CUDA-Build, der zur gemieteten Karte passt — die eine Einstellung, die bei Clore.ai-Deployments mehr kaputtmacht als alles andere

Wenn Sie eine RTX-50-Serie-Karte mieten und ein CUDA-12.4-Image ausführen, funktioniert nichts. Sie erhalten für die Ausführung auf dem Gerät ist kein Kernel-Image verfügbar. Blackwell benötigt CUDA 12.8 oder neuer und PyTorch 2.7 oder neuer. Dies ist der mit Abstand häufigste fehlgeschlagene Deployment-Versuch auf Clore.ai, und es lässt sich mit einer Zeile beheben.

Jede Anleitung in dieser Sammlung liefert ein Basis-Image mit. Wenn Sie es ändern oder PyTorch selbst installieren, muss der CUDA-Build zur Architektur der gemieteten GPU passen. Clore.ai ist ein Marktplatz, kein einheitlicher Cluster: Die Flotte reicht von Pascal-Mining-Karten von 2017 bis zu Blackwell-Workstation-Karten von 2025, und kein einzelnes Image deckt sie alle ab.

Die Matrix

Architektur	Compute-Fähigkeit.	Karten auf Clore.ai	Verwenden Sie dies
Blackwell	sm_120	RTX 5090, 5080, 5070 Ti, 5070, 5060 Ti, RTX PRO 6000	PyTorch ≥ 2.7 am cu128 oder cu13x
Ada	sm_89	RTX 4090, 4080, 4070 Ti, 4060 Ti	PyTorch ≥ 2.1 auf cu121 … cu13x (cu128 empfohlen)
Ampere	sm_86 / sm_80	RTX 3090, 3080, 3070, 3060, A6000, A2000, CMP 90HX	PyTorch ≥ 1.13 auf cu118 … cu13x (cu128 empfohlen)
Turing	sm_75	RTX 2080 Ti, GTX 1660, CMP 30HX/40HX/50HX	Alles von cu118 … cu13x
Volta	sm_70	Tesla V100 (16GB und 32GB SXM2)	PyTorch ≤ 2.10 auf cu128 oder irgendeinem cu126 Build
Pascal	sm_61	P104-100 und ähnliche Mining-Karten	PyTorch ≤ 2.7 am cu124 oder älter

Zwei Abkündigungen bringen Leute zu Fall:

• cu128-Builds ab PyTorch 2.8 haben Maxwell und Pascal entfernt (sm_50, sm_60).

• PyTorch 2.11 hat Volta aus seinen cu128- und cu129-Binärdateien entfernt (cuDNN 9.15.1 ist nicht Volta-kompatibel). V100-Mieter sollten 2.10.0-cuda12.8 oder einen cu126-Build verwenden.

• CUDA 13.0 selbst beginnt bei Turing (sm_75). Jede cuda13x Image schließt Volta und Pascal konstruktionsbedingt aus.

Funktionierende Basis-Images

# Standard für alles von Ampere bis Blackwell — das ist es, was die Anleitungen verwenden
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel     # Build-Tools, Compiler, nvcc
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime   # kleiner, kein nvcc

# Neueste, nur Turing und neuer (kein V100, kein Pascal)
pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel

# Tesla V100 (sm_70)
pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel

# Pascal-Mining-Karten (sm_61)
pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

PyTorch in Ihrem eigenen Image installieren:

# Ampere / Ada / Blackwell
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

# Volta (V100)
pip install "torch<=2.10" torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

Prüfen Sie, was Sie tatsächlich gemietet haben

# Treiber und die CUDA-Version, die er bereitstellt
nvidia-smi

# Compute-Fähigkeit der Karte, direkt von torch
python -c "import torch; print(torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))"
# RTX 5090  -> (12, 0)   RTX 4090 -> (8, 9)   RTX 3090 -> (8, 6)   V100 -> (7, 0)

# Für welche Architekturen dieser Build tatsächlich Kernel hat
python -c "import torch; print(torch.cuda.get_arch_list())"

Wenn get_device_capability gibt (12, 0) und get_arch_list() hat keine sm_120, sind Sie beim falschen Image. Alles andere, was Sie ändern, hilft nicht.

Filtern Sie, bevor Sie mieten. Der Marktplatz zeigt die CUDA-Version jedes Hosts an. Etwa 65 % der GPUs auf Clore.ai laufen derzeit mit einem 13.x-Treiber und 35 % mit 12.x, daher ist ein cu128 Image die sicherste Standardwahl: Die Minor-Version-Kompatibilität von CUDA sorgt dafür, dass es auf beiden läuft.

Fehlermeldungen, entschlüsselt

Was Sie sehen	Was es bedeutet	Fix
für die Ausführung auf dem Gerät ist kein Kernel-Image verfügbar	Der Build hat keine Kernel für die Architektur Ihrer Karte	Passen Sie das Image an die Matrix oben an
CUDA-Fehler: kein Kernel-Image ... sm_120	Blackwell-Karte, Build vor 2.7 oder cu124	Wechseln Sie zu cu128 + PyTorch ≥ 2.7
CUDA-Treiberversion ist für die CUDA-Runtime-Version unzureichend	Das Image benötigt einen neueren Treiber als der Host hat	Wählen Sie ein CUDA-Image mit niedrigerer Version oder mieten Sie einen Host mit einem neueren Treiber
torch.cuda.is_available() == False	Container wurde ohne GPU-Zugriff gestartet	Neu bereitstellen; stellen Sie sicher, dass der Auftrag tatsächlich eine GPU angeschlossen hat
undefiniertes Symbol: __cudaPopCallConfiguration	Gemischte CUDA-Versionen in einer Umgebung	Von einem einzigen sauberen Basis-Image neu erstellen; nicht pip installieren ein zweites torch
Funktioniert auf der 4090, scheitert auf der 5090	Klassische Architektur-Lücke	Das Image stammt aus der Ada-Ära; wechseln Sie zu cu128

Flash Attention und Co.

Kompilierte Erweiterungen unterliegen derselben Einschränkung wie PyTorch und hinken meist einer Version hinterher:

# Gegen das torch bauen, das Sie bereits haben, nicht gegen ein frisches
pip install flash-attn --no-build-isolation

# vLLM und SGLang liefern ihre eigenen CUDA-Builds aus — verwenden Sie deren Images statt
# sie in ein PyTorch-Image zu installieren, sonst haben Sie am Ende zwei Torch-Installationen
docker pull vllm/vllm-openai:latest
docker pull lmsysorg/sglang:latest

vllm/vllm-openai:latest und lmsysorg/sglang:latest beide enthalten Blackwell-Kernel. Wenn Sie für die Reproduzierbarkeit ein älteres Tag festlegen, prüfen Sie, dass es nach der RTX-50-Serie datiert ist; andernfalls übernehmen Sie genau das Problem, um das es auf dieser Seite geht.

Nächste Schritte

• Katalog der Docker-Images — einsatzbereite Images pro Workload

• GPU-Vergleich — welche Karte für welches Modell

• GPU-Preisgestaltung — Live-Spannen des Marktplatzes

• Fehlerbehebung — die übrigen Fehlerfälle

Links

• Frühere PyTorch-Versionen und CUDA-Builds

• pytorch/pytorch auf Docker Hub

• CUDA-GPU-Compute-Fähigkeiten

• Eine GPU mieten: RTX 5090 32 GB · RTX 4090 24GB · Marktplatz