CUDA और PyTorch संगतता

किराए पर लिए गए कार्ड से मेल खाने वाला CUDA बिल्ड चुनें — यही वह सेटिंग है जो Clore.ai डिप्लॉयमेंट्स को सबसे ज़्यादा बिगाड़ती है

अगर आप RTX 50-सीरीज़ कार्ड किराए पर लेते हैं और CUDA 12.4 इमेज चलाते हैं, तो कुछ भी काम नहीं करेगा। आपको मिलेगा डिवाइस पर निष्पादन के लिए कोई kernel image उपलब्ध नहीं है. Blackwell को चाहिए CUDA 12.8 या उससे नया और PyTorch 2.7 या उससे नया. Clore.ai पर यह सबसे आम विफल deployment है, और इसका समाधान एक पंक्ति का है।

इस संग्रह की हर गाइड एक base image के साथ आती है। अगर आप इसे बदलते हैं, या अगर आप PyTorch खुद install करते हैं, तो CUDA build को आपके किराए पर लिए गए GPU की architecture से मेल खाना चाहिए। Clore.ai एक marketplace है, uniform cluster नहीं: यह fleet 2017 के Pascal mining cards से लेकर 2025 के Blackwell workstation cards तक फैली हुई है, और कोई एक इमेज इन सबको कवर नहीं करती।

मैट्रिक्स

आर्किटेक्चर	Compute cap.	Clore.ai पर कार्ड	इसका उपयोग करें
Blackwell	sm_120	RTX 5090, 5080, 5070 Ti, 5070, 5060 Ti, RTX PRO 6000	PyTorch ≥ 2.7 को cu128 या cu13x
Ada	sm_89	RTX 4090, 4080, 4070 Ti, 4060 Ti	PyTorch ≥ 2.1 on cu121 … cu13x (cu128 recommended)
Ampere	sm_86 / sm_80	RTX 3090, 3080, 3070, 3060, A6000, A2000, CMP 90HX	PyTorch ≥ 1.13 on cu118 … cu13x (cu128 recommended)
Turing	sm_75	RTX 2080 Ti, GTX 1660, CMP 30HX/40HX/50HX	cu118 … cu13x में से कुछ भी
Volta	sm_70	Tesla V100 (16GB और 32GB SXM2)	PyTorch ≤ 2.10 on cu128, or any cu126 build
Pascal	sm_61	P104-100 और इसी तरह के mining cards	PyTorch ≤ 2.7 को cu124 या उससे पुराने

दो deprecations लोगों को चौंका देते हैं:

• PyTorch 2.8 के cu128 builds ने Maxwell और Pascal को हटा दिया (sm_50, sm_60).

• PyTorch 2.11 ने अपने cu128 और cu129 binaries से Volta को हटा दिया (cuDNN 9.15.1 Volta-compatible नहीं है)। V100 renters को pin करना चाहिए 2.10.0-cuda12.8 या cu126 build का उपयोग करें।

• CUDA 13.0 खुद Turing से शुरू होता है (sm_75). कोई भी cuda13x image डिज़ाइन के हिसाब से Volta और Pascal को बाहर रखती है।

काम करने वाली base images

# Ampere से Blackwell तक किसी भी चीज़ के लिए डिफ़ॉल्ट — गाइड्स इसी का उपयोग करते हैं
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel     # build tools, compilers, nvcc
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime   # smaller, no nvcc

# सबसे नया, केवल Turing और उससे ऊपर (V100 नहीं, Pascal नहीं)
pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel

# Tesla V100 (sm_70)
pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel

# Pascal mining cards (sm_61)
pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

अपनी खुद की image में PyTorch install करना:

# Ampere / Ada / Blackwell
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

# Volta (V100)
pip install "torch<=2.10" torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

आपने वास्तव में क्या किराए पर लिया है, यह जाँचें

# Driver और वह CUDA version जो यह दिखाता है
nvidia-smi

# सीधे torch से कार्ड की compute capability
python -c "import torch; print(torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))"
# RTX 5090  -> (12, 0)   RTX 4090 -> (8, 9)   RTX 3090 -> (8, 6)   V100 -> (7, 0)

# इस build में वास्तव में किन architectures के लिए kernels हैं
python -c "import torch; print(torch.cuda.get_arch_list())"

यदि get_device_capability लौटाता है (12, 0) और get_arch_list() में कोई sm_120नहीं है, तो आप गलत image पर हैं। आपके द्वारा बदली गई कोई भी दूसरी चीज़ मदद नहीं करेगी।

किराए पर लेने से पहले फ़िल्टर करें। Marketplace हर host का CUDA version दिखाता है। लगभग 65% Clore.ai GPUs अभी 13.x driver पर हैं और 35% 12.x पर, इसलिए cu128 image सबसे सुरक्षित default है: CUDA minor-version compatibility इसे दोनों पर चलने देती है।

Error messages, decoded

आप जो देखते हैं	इसका क्या मतलब है	ठीक करें
डिवाइस पर निष्पादन के लिए कोई kernel image उपलब्ध नहीं है	इस build में आपके card की architecture के लिए kernels नहीं हैं	ऊपर दिए गए matrix के साथ image को मिलाएँ
CUDA error: no kernel image ... sm_120	Blackwell card, pre-2.7 or cu124 build	पर जाएँ cu128 + PyTorch ≥ 2.7
CUDA driver version, CUDA runtime version के लिए अपर्याप्त है	Image को host की तुलना में नए driver की ज़रूरत है	कम CUDA image चुनें, या नए driver वाले host पर rent करें
torch.cuda.is_available() == False	Container GPU access के बिना शुरू हुआ	Redeploy करें; सुनिश्चित करें कि order ने वास्तव में GPU जोड़ा है
undefined symbol: __cudaPopCallConfiguration	एक ही environment में मिश्रित CUDA versions	एक साफ base image से rebuild करें; pip install दूसरा torch
4090 पर काम करता है, 5090 पर fail होता है	क्लासिक architecture gap	Image Ada-युग की है; cu128 पर जाएँ

Flash Attention और इसी तरह के टूल

Compiled extensions PyTorch जैसी ही constraint लेकर चलते हैं, और आमतौर पर एक release पीछे रहते हैं:

# एक नए torch के बजाय, उसी torch के खिलाफ build करें जो आपके पास पहले से है
pip install flash-attn --no-build-isolation

# vLLM और SGLang अपनी CUDA builds के साथ आते हैं — इन्हें PyTorch image में install करने के बजाय उनकी images का उपयोग करें, या
# नहीं तो आपके पास दो torches होंगे
docker pull vllm/vllm-openai:latest
docker pull lmsysorg/sglang:latest

vllm/vllm-openai:latest और lmsysorg/sglang:latest दोनों में Blackwell kernels होते हैं। अगर reproducibility के लिए आप कोई पुराना tag pin करते हैं, तो जाँचें कि वह RTX 50-series के बाद का हो; नहीं तो आप वही समस्या पा लेंगे जिसके बारे में यह पृष्ठ है।

अगले चरण

• Docker इमेज कैटलॉग — हर workload के लिए deploy करने के लिए तैयार images

• जीपीयू तुलना — किस model के लिए कौन सा card

• GPU मूल्य निर्धारण — live marketplace ranges

• समस्या निवारण — विफलता के बाकी modes

लिंक्स

• PyTorch के पिछले versions और CUDA builds

• Docker Hub पर pytorch/pytorch

• CUDA GPU compute capabilities

• GPU किराये पर लें: RTX 5090 32GB · RTX 4090 24GB · मार्केटप्लेस