Compatibilité CUDA et PyTorch

Choisissez une version CUDA qui correspond à la carte que vous avez louée — le seul réglage qui fait échouer plus de déploiements Clore.ai que tout autre

Si vous louez une carte de la série RTX 50 et exécutez une image CUDA 12.4, rien ne fonctionnera. Vous obtiendrez aucune image noyau n’est disponible pour l’exécution sur le périphérique. Blackwell nécessite CUDA 12.8 ou plus récent et PyTorch 2.7 ou plus récent. C’est l’échec de déploiement le plus courant sur Clore.ai, et la correction tient en une ligne.

Chaque guide de cette collection fournit une image de base. Si vous la modifiez, ou si vous installez PyTorch vous-même, la version CUDA doit correspondre à l’architecture du GPU que vous avez loué. Clore.ai est une place de marché, pas un cluster homogène : le parc va des cartes minières Pascal de 2017 aux cartes de station de travail Blackwell de 2025, et aucune image unique ne les couvre toutes.

La matrice

Architecture	Capacité de calcul.	Cartes sur Clore.ai	Utilisez ceci
Blackwell	sm_120	RTX 5090, 5080, 5070 Ti, 5070, 5060 Ti, RTX PRO 6000	PyTorch ≥ 2.7 le cu128 ou cu13x
Ada	sm_89	RTX 4090, 4080, 4070 Ti, 4060 Ti	PyTorch ≥ 2.1 sur cu121 … cu13x (cu128 recommandé)
Ampere	sm_86 / sm_80	RTX 3090, 3080, 3070, 3060, A6000, A2000, CMP 90HX	PyTorch ≥ 1.13 sur cu118 … cu13x (cu128 recommandé)
Turing	sm_75	RTX 2080 Ti, GTX 1660, CMP 30HX/40HX/50HX	N’importe quel cu118 … cu13x
Volta	sm_70	Tesla V100 (16 Go et 32 Go SXM2)	PyTorch ≤ 2.10 sur cu128, ou n’importe quel cu126 build
Pascal	sm_61	P104-100 et cartes minières similaires	PyTorch ≤ 2.7 le cu124 ou plus ancien

Deux dépréciations prennent les gens au dépourvu :

• Les builds cu128 de PyTorch 2.8 ont abandonné Maxwell et Pascal (sm_50, sm_60).

• PyTorch 2.11 a retiré Volta de ses binaires cu128 et cu129 (cuDNN 9.15.1 n’est pas compatible avec Volta). Les utilisateurs de V100 devraient figer 2.10.0-cuda12.8 ou utiliser un build cu126.

• CUDA 13.0 lui-même commence à Turing (sm_75). Toute image cuda13x exclut de par sa conception Volta et Pascal.

Images de base qui fonctionnent

# Par défaut pour tout, d’Ampere à Blackwell — c’est ce que les guides utilisent
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel     # outils de build, compilateurs, nvcc
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime   # plus petite, sans nvcc

# Les plus récentes, uniquement Turing et plus (pas de V100, pas de Pascal)
pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel

# Tesla V100 (sm_70)
pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel

# Cartes minières Pascal (sm_61)
pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

Installer PyTorch dans votre propre image :

# Ampere / Ada / Blackwell
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

# Volta (V100)
pip install "torch<=2.10" torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

Vérifiez ce que vous avez réellement loué

# Le pilote et la version CUDA qu’il expose
nvidia-smi

# Capacité de calcul de la carte, directement depuis torch
python -c "import torch; print(torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))"
# RTX 5090  -> (12, 0)   RTX 4090 -> (8, 9)   RTX 3090 -> (8, 6)   V100 -> (7, 0)

# Quelles architectures cette build prend réellement en charge avec des kernels
python -c "import torch; print(torch.cuda.get_arch_list())"

Si get_device_capability retourne (12, 0) et get_arch_list() n’a pas de sm_120, vous êtes sur la mauvaise image. Rien d’autre de ce que vous modifiez n’aidera.

Filtrez avant de louer. La place de marché expose la version CUDA de chaque hôte. Environ 65 % des GPU de Clore.ai utilisent actuellement un pilote 13.x et 35 % un 12.x, donc une cu128 image est le choix par défaut le plus sûr : la compatibilité inter-version mineure de CUDA lui permet de fonctionner sur les deux.

Messages d’erreur, décodés

Ce que vous voyez	Ce que cela signifie	Correctif
aucune image noyau n’est disponible pour l’exécution sur le périphérique	Le build n’a aucun noyau pour l’architecture de votre carte	Faites correspondre l’image à la matrice ci-dessus
Erreur CUDA : aucune image noyau ... sm_120	Carte Blackwell, build antérieur à 2.7 ou cu124	Passez à cu128 + PyTorch ≥ 2.7
La version du pilote CUDA est insuffisante pour la version d’exécution CUDA	L’image nécessite un pilote plus récent que celui de l’hôte	Choisissez une image CUDA plus ancienne, ou louez un hôte avec un pilote plus récent
torch.cuda.is_available() == False	Conteneur démarré sans accès GPU	Redéployez ; assurez-vous que la commande a bien attaché un GPU
symbole indéfini : __cudaPopCallConfiguration	Versions CUDA mélangées dans un même environnement	Recompilez à partir d’une seule image de base propre ; n’ pip install un deuxième torch
Fonctionne sur la 4090, échoue sur la 5090	Écart d’architecture classique	L’image est de l’ère Ada ; passez à cu128

Flash Attention et autres

Les extensions compilées portent la même contrainte que PyTorch, et accusent généralement un retard d’une version :

# Compilez par rapport au torch que vous avez déjà, pas un nouveau
pip install flash-attn --no-build-isolation

# vLLM et SGLang fournissent leurs propres builds CUDA — utilisez leurs images plutôt que
# de les installer dans une image PyTorch, sinon vous vous retrouverez avec deux torch
docker pull vllm/vllm-openai:latest
docker pull lmsysorg/sglang:latest

vllm/vllm-openai:latest et lmsysorg/sglang:latest tous deux contiennent des kernels Blackwell. Si vous figez une balise plus ancienne pour la reproductibilité, vérifiez qu’elle est postérieure aux RTX de la série 50, sinon vous hériterez exactement du problème dont cette page traite.

Étapes suivantes

• Catalogue d'images Docker — des images prêtes à déployer par charge de travail

• Comparaison des GPU — quelle carte pour quel modèle

• Tarification GPU — fourchettes en direct de la place de marché

• Dépannage — les autres modes de défaillance

Liens

• Versions précédentes de PyTorch et builds CUDA

• pytorch/pytorch sur Docker Hub

• Capacités de calcul des GPU CUDA

• Louez un GPU : RTX 5090 32 Go · RTX 4090 24 Go · Place de marché