> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/getting-started/cuda-pytorch-compatibility.md).

# CUDA और PyTorch संगतता

किराए पर लिए गए कार्ड से मेल खाने वाला CUDA बिल्ड चुनें — यही वह सेटिंग है जो Clore.ai डिप्लॉयमेंट्स को सबसे ज़्यादा बिगाड़ती है

{% hint style="danger" %}
**अगर आप RTX 50-सीरीज़ कार्ड किराए पर लेते हैं और CUDA 12.4 इमेज चलाते हैं, तो कुछ भी काम नहीं करेगा।** आपको मिलेगा `डिवाइस पर निष्पादन के लिए कोई kernel image उपलब्ध नहीं है`. Blackwell को चाहिए **CUDA 12.8 या उससे नया** और **PyTorch 2.7 या उससे नया**. Clore.ai पर यह सबसे आम विफल deployment है, और इसका समाधान एक पंक्ति का है।
{% endhint %}

इस संग्रह की हर गाइड एक base image के साथ आती है। अगर आप इसे बदलते हैं, या अगर आप PyTorch खुद install करते हैं, तो CUDA build को आपके किराए पर लिए गए GPU की architecture से मेल खाना चाहिए। Clore.ai एक marketplace है, uniform cluster नहीं: यह fleet 2017 के Pascal mining cards से लेकर 2025 के Blackwell workstation cards तक फैली हुई है, और कोई एक इमेज इन सबको कवर नहीं करती।

## मैट्रिक्स

| आर्किटेक्चर   | Compute cap.    | Clore.ai पर कार्ड                                    | इसका उपयोग करें                                     |
| ------------- | --------------- | ---------------------------------------------------- | --------------------------------------------------- |
| **Blackwell** | sm\_120         | RTX 5090, 5080, 5070 Ti, 5070, 5060 Ti, RTX PRO 6000 | PyTorch **≥ 2.7** को **cu128** या **cu13x**         |
| **Ada**       | sm\_89          | RTX 4090, 4080, 4070 Ti, 4060 Ti                     | PyTorch ≥ 2.1 on cu121 … cu13x (cu128 recommended)  |
| **Ampere**    | sm\_86 / sm\_80 | RTX 3090, 3080, 3070, 3060, A6000, A2000, CMP 90HX   | PyTorch ≥ 1.13 on cu118 … cu13x (cu128 recommended) |
| **Turing**    | sm\_75          | RTX 2080 Ti, GTX 1660, CMP 30HX/40HX/50HX            | cu118 … cu13x में से कुछ भी                         |
| **Volta**     | sm\_70          | Tesla V100 (16GB और 32GB SXM2)                       | PyTorch **≤ 2.10** on cu128, or any **cu126** build |
| **Pascal**    | sm\_61          | P104-100 और इसी तरह के mining cards                  | PyTorch **≤ 2.7** को **cu124** या उससे पुराने       |

दो deprecations लोगों को चौंका देते हैं:

* **PyTorch 2.8 के cu128 builds ने Maxwell और Pascal को हटा दिया** (sm\_50, sm\_60).
* **PyTorch 2.11 ने अपने cu128 और cu129 binaries से Volta को हटा दिया** (cuDNN 9.15.1 Volta-compatible नहीं है)। V100 renters को pin करना चाहिए `2.10.0-cuda12.8` या cu126 build का उपयोग करें।
* **CUDA 13.0 खुद Turing से शुरू होता है** (sm\_75). कोई भी `cuda13x` image डिज़ाइन के हिसाब से Volta और Pascal को बाहर रखती है।

## काम करने वाली base images

```bash
# Ampere से Blackwell तक किसी भी चीज़ के लिए डिफ़ॉल्ट — गाइड्स इसी का उपयोग करते हैं
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel     # build tools, compilers, nvcc
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime   # smaller, no nvcc

# सबसे नया, केवल Turing और उससे ऊपर (V100 नहीं, Pascal नहीं)
pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel

# Tesla V100 (sm_70)
pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel

# Pascal mining cards (sm_61)
pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
```

अपनी खुद की image में PyTorch install करना:

```bash
# Ampere / Ada / Blackwell
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

# Volta (V100)
pip install "torch<=2.10" torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
```

## आपने वास्तव में क्या किराए पर लिया है, यह जाँचें

```bash
# Driver और वह CUDA version जो यह दिखाता है
nvidia-smi

# सीधे torch से कार्ड की compute capability
python -c "import torch; print(torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))"
# RTX 5090  -> (12, 0)   RTX 4090 -> (8, 9)   RTX 3090 -> (8, 6)   V100 -> (7, 0)

# इस build में वास्तव में किन architectures के लिए kernels हैं
python -c "import torch; print(torch.cuda.get_arch_list())"
```

यदि `get_device_capability` लौटाता है `(12, 0)` और `get_arch_list()` में कोई `sm_120`नहीं है, तो आप गलत image पर हैं। आपके द्वारा बदली गई कोई भी दूसरी चीज़ मदद नहीं करेगी।

{% hint style="info" %}
**किराए पर लेने से पहले फ़िल्टर करें।** Marketplace हर host का CUDA version दिखाता है। लगभग **65% Clore.ai GPUs अभी 13.x driver पर हैं** और 35% 12.x पर, इसलिए `cu128` image सबसे सुरक्षित default है: CUDA minor-version compatibility इसे दोनों पर चलने देती है।
{% endhint %}

## Error messages, decoded

| आप जो देखते हैं                                                 | इसका क्या मतलब है                                              | ठीक करें                                                          |
| --------------------------------------------------------------- | -------------------------------------------------------------- | ----------------------------------------------------------------- |
| `डिवाइस पर निष्पादन के लिए कोई kernel image उपलब्ध नहीं है`     | इस build में आपके card की architecture के लिए kernels नहीं हैं | ऊपर दिए गए matrix के साथ image को मिलाएँ                          |
| `CUDA error: no kernel image ... sm_120`                        | Blackwell card, pre-2.7 or cu124 build                         | पर जाएँ `cu128` + PyTorch ≥ 2.7                                   |
| `CUDA driver version, CUDA runtime version के लिए अपर्याप्त है` | Image को host की तुलना में नए driver की ज़रूरत है              | कम CUDA image चुनें, या नए driver वाले host पर rent करें          |
| `torch.cuda.is_available() == False`                            | Container GPU access के बिना शुरू हुआ                          | Redeploy करें; सुनिश्चित करें कि order ने वास्तव में GPU जोड़ा है |
| `undefined symbol: __cudaPopCallConfiguration`                  | एक ही environment में मिश्रित CUDA versions                    | एक साफ base image से rebuild करें; `pip install` दूसरा torch      |
| 4090 पर काम करता है, 5090 पर fail होता है                       | क्लासिक architecture gap                                       | Image Ada-युग की है; cu128 पर जाएँ                                |

## Flash Attention और इसी तरह के टूल

Compiled extensions PyTorch जैसी ही constraint लेकर चलते हैं, और आमतौर पर एक release पीछे रहते हैं:

```bash
# एक नए torch के बजाय, उसी torch के खिलाफ build करें जो आपके पास पहले से है
pip install flash-attn --no-build-isolation

# vLLM और SGLang अपनी CUDA builds के साथ आते हैं — इन्हें PyTorch image में install करने के बजाय उनकी images का उपयोग करें, या
# नहीं तो आपके पास दो torches होंगे
docker pull vllm/vllm-openai:latest
docker pull lmsysorg/sglang:latest
```

`vllm/vllm-openai:latest` और `lmsysorg/sglang:latest` दोनों में Blackwell kernels होते हैं। अगर reproducibility के लिए आप कोई पुराना tag pin करते हैं, तो जाँचें कि वह RTX 50-series के बाद का हो; नहीं तो आप वही समस्या पा लेंगे जिसके बारे में यह पृष्ठ है।

## अगले चरण

* [Docker इमेज कैटलॉग](/guides/guides_v2-hi/getting-started/docker-images.md) — हर workload के लिए deploy करने के लिए तैयार images
* [जीपीयू तुलना](/guides/guides_v2-hi/getting-started/gpu-comparison.md) — किस model के लिए कौन सा card
* [GPU मूल्य निर्धारण](/guides/guides_v2-hi/getting-started/pricing.md) — live marketplace ranges
* [समस्या निवारण](/guides/guides_v2-hi/getting-started/clore-troubleshooting.md) — विफलता के बाकी modes

### लिंक्स

* [PyTorch के पिछले versions और CUDA builds](https://pytorch.org/get-started/previous-versions/)
* [Docker Hub पर pytorch/pytorch](https://hub.docker.com/r/pytorch/pytorch/tags)
* [CUDA GPU compute capabilities](https://developer.nvidia.com/cuda-gpus)
* **GPU किराये पर लें:** [RTX 5090 32GB](https://clore.ai/rent-5090.html) · [RTX 4090 24GB](https://clore.ai/rent-4090.html) · [मार्केटप्लेस](https://clore.ai/marketplace)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-hi/getting-started/cuda-pytorch-compatibility.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.