> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/erste-schritte/cuda-pytorch-compatibility.md). # CUDA- & PyTorch-Kompatibilität Wähle einen CUDA-Build, der zur gemieteten Karte passt — die eine Einstellung, die bei Clore.ai-Deployments mehr kaputtmacht als alles andere {% hint style="danger" %} **Wenn Sie eine RTX-50-Serie-Karte mieten und ein CUDA-12.4-Image ausführen, funktioniert nichts.** Sie erhalten `für die Ausführung auf dem Gerät ist kein Kernel-Image verfügbar`. Blackwell benötigt **CUDA 12.8 oder neuer** und **PyTorch 2.7 oder neuer**. Dies ist der mit Abstand häufigste fehlgeschlagene Deployment-Versuch auf Clore.ai, und es lässt sich mit einer Zeile beheben. {% endhint %} Jede Anleitung in dieser Sammlung liefert ein Basis-Image mit. Wenn Sie es ändern oder PyTorch selbst installieren, muss der CUDA-Build zur Architektur der gemieteten GPU passen. Clore.ai ist ein Marktplatz, kein einheitlicher Cluster: Die Flotte reicht von Pascal-Mining-Karten von 2017 bis zu Blackwell-Workstation-Karten von 2025, und kein einzelnes Image deckt sie alle ab. ## Die Matrix | Architektur | Compute-Fähigkeit. | Karten auf Clore.ai | Verwenden Sie dies | | ------------- | ------------------ | ---------------------------------------------------- | ------------------------------------------------------------- | | **Blackwell** | sm\_120 | RTX 5090, 5080, 5070 Ti, 5070, 5060 Ti, RTX PRO 6000 | PyTorch **≥ 2.7** am **cu128** oder **cu13x** | | **Ada** | sm\_89 | RTX 4090, 4080, 4070 Ti, 4060 Ti | PyTorch ≥ 2.1 auf cu121 … cu13x (cu128 empfohlen) | | **Ampere** | sm\_86 / sm\_80 | RTX 3090, 3080, 3070, 3060, A6000, A2000, CMP 90HX | PyTorch ≥ 1.13 auf cu118 … cu13x (cu128 empfohlen) | | **Turing** | sm\_75 | RTX 2080 Ti, GTX 1660, CMP 30HX/40HX/50HX | Alles von cu118 … cu13x | | **Volta** | sm\_70 | Tesla V100 (16GB und 32GB SXM2) | PyTorch **≤ 2.10** auf cu128 oder irgendeinem **cu126** Build | | **Pascal** | sm\_61 | P104-100 und ähnliche Mining-Karten | PyTorch **≤ 2.7** am **cu124** oder älter | Zwei Abkündigungen bringen Leute zu Fall: * **cu128-Builds ab PyTorch 2.8 haben Maxwell und Pascal entfernt** (sm\_50, sm\_60). * **PyTorch 2.11 hat Volta aus seinen cu128- und cu129-Binärdateien entfernt** (cuDNN 9.15.1 ist nicht Volta-kompatibel). V100-Mieter sollten `2.10.0-cuda12.8` oder einen cu126-Build verwenden. * **CUDA 13.0 selbst beginnt bei Turing** (sm\_75). Jede `cuda13x` Image schließt Volta und Pascal konstruktionsbedingt aus. ## Funktionierende Basis-Images ```bash # Standard für alles von Ampere bis Blackwell — das ist es, was die Anleitungen verwenden pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel # Build-Tools, Compiler, nvcc pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime # kleiner, kein nvcc # Neueste, nur Turing und neuer (kein V100, kein Pascal) pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel # Tesla V100 (sm_70) pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel # Pascal-Mining-Karten (sm_61) pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel ``` PyTorch in Ihrem eigenen Image installieren: ```bash # Ampere / Ada / Blackwell pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128 # Volta (V100) pip install "torch<=2.10" torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126 ``` ## Prüfen Sie, was Sie tatsächlich gemietet haben ```bash # Treiber und die CUDA-Version, die er bereitstellt nvidia-smi # Compute-Fähigkeit der Karte, direkt von torch python -c "import torch; print(torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))" # RTX 5090 -> (12, 0) RTX 4090 -> (8, 9) RTX 3090 -> (8, 6) V100 -> (7, 0) # Für welche Architekturen dieser Build tatsächlich Kernel hat python -c "import torch; print(torch.cuda.get_arch_list())" ``` Wenn `get_device_capability` gibt `(12, 0)` und `get_arch_list()` hat keine `sm_120`, sind Sie beim falschen Image. Alles andere, was Sie ändern, hilft nicht. {% hint style="info" %} **Filtern Sie, bevor Sie mieten.** Der Marktplatz zeigt die CUDA-Version jedes Hosts an. Etwa **65 % der GPUs auf Clore.ai laufen derzeit mit einem 13.x-Treiber** und 35 % mit 12.x, daher ist ein `cu128` Image die sicherste Standardwahl: Die Minor-Version-Kompatibilität von CUDA sorgt dafür, dass es auf beiden läuft. {% endhint %} ## Fehlermeldungen, entschlüsselt | Was Sie sehen | Was es bedeutet | Fix | | ------------------------------------------------------------------- | ---------------------------------------------------------- | ------------------------------------------------------------------------------------------------------ | | `für die Ausführung auf dem Gerät ist kein Kernel-Image verfügbar` | Der Build hat keine Kernel für die Architektur Ihrer Karte | Passen Sie das Image an die Matrix oben an | | `CUDA-Fehler: kein Kernel-Image ... sm_120` | Blackwell-Karte, Build vor 2.7 oder cu124 | Wechseln Sie zu `cu128` + PyTorch ≥ 2.7 | | `CUDA-Treiberversion ist für die CUDA-Runtime-Version unzureichend` | Das Image benötigt einen neueren Treiber als der Host hat | Wählen Sie ein CUDA-Image mit niedrigerer Version oder mieten Sie einen Host mit einem neueren Treiber | | `torch.cuda.is_available() == False` | Container wurde ohne GPU-Zugriff gestartet | Neu bereitstellen; stellen Sie sicher, dass der Auftrag tatsächlich eine GPU angeschlossen hat | | `undefiniertes Symbol: __cudaPopCallConfiguration` | Gemischte CUDA-Versionen in einer Umgebung | Von einem einzigen sauberen Basis-Image neu erstellen; nicht `pip installieren` ein zweites torch | | Funktioniert auf der 4090, scheitert auf der 5090 | Klassische Architektur-Lücke | Das Image stammt aus der Ada-Ära; wechseln Sie zu cu128 | ## Flash Attention und Co. Kompilierte Erweiterungen unterliegen derselben Einschränkung wie PyTorch und hinken meist einer Version hinterher: ```bash # Gegen das torch bauen, das Sie bereits haben, nicht gegen ein frisches pip install flash-attn --no-build-isolation # vLLM und SGLang liefern ihre eigenen CUDA-Builds aus — verwenden Sie deren Images statt # sie in ein PyTorch-Image zu installieren, sonst haben Sie am Ende zwei Torch-Installationen docker pull vllm/vllm-openai:latest docker pull lmsysorg/sglang:latest ``` `vllm/vllm-openai:latest` und `lmsysorg/sglang:latest` beide enthalten Blackwell-Kernel. Wenn Sie für die Reproduzierbarkeit ein älteres Tag festlegen, prüfen Sie, dass es nach der RTX-50-Serie datiert ist; andernfalls übernehmen Sie genau das Problem, um das es auf dieser Seite geht. ## Nächste Schritte * [Katalog der Docker-Images](/guides/guides_v2-de/erste-schritte/docker-images.md) — einsatzbereite Images pro Workload * [GPU-Vergleich](/guides/guides_v2-de/erste-schritte/gpu-comparison.md) — welche Karte für welches Modell * [GPU-Preisgestaltung](/guides/guides_v2-de/erste-schritte/pricing.md) — Live-Spannen des Marktplatzes * [Fehlerbehebung](/guides/guides_v2-de/erste-schritte/clore-troubleshooting.md) — die übrigen Fehlerfälle ### Links * [Frühere PyTorch-Versionen und CUDA-Builds](https://pytorch.org/get-started/previous-versions/) * [pytorch/pytorch auf Docker Hub](https://hub.docker.com/r/pytorch/pytorch/tags) * [CUDA-GPU-Compute-Fähigkeiten](https://developer.nvidia.com/cuda-gpus) * **Eine GPU mieten:** [RTX 5090 32 GB](https://clore.ai/rent-5090.html) · [RTX 4090 24GB](https://clore.ai/rent-4090.html) · [Marktplatz](https://clore.ai/marketplace) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-de/erste-schritte/cuda-pytorch-compatibility.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.