> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/erste-schritte/docker-images.md).

# Docker-Images

Bereitstellungsfertige Docker-Images für KI-Workloads auf Clore.ai

Einsatzbereite Docker-Images für KI-Workloads auf CLORE.AI.

{% hint style="success" %}
Stellen Sie diese Images direkt unter [CLORE.AI-Marktplatz](https://clore.ai/marketplace).
{% endhint %}

## Schnellbereitstellungs-Referenz

### Am beliebtesten

| Aufgabe                        | Image                                | Ports     |
| ------------------------------ | ------------------------------------ | --------- |
| Mit KI chatten                 | `ollama/ollama`                      | 22, 11434 |
| ChatGPT-ähnliche Oberfläche    | `ghcr.io/open-webui/open-webui`      | 22, 8080  |
| Bilderzeugung                  | `universonic/stable-diffusion-webui` | 22, 7860  |
| Bildgenerierung auf Node-Basis | `yanwk/comfyui-boot`                 | 22, 8188  |
| LLM-API-Server                 | `vllm/vllm-openai`                   | 22, 8000  |

***

## Sprachmodelle

### Ollama

**Universeller LLM-Runner – der einfachste Weg, jedes Modell auszuführen.**

```
Image: ollama/ollama
Ports: 22/tcp, 11434/http
Befehl: ollama serve
```

**Nach der Bereitstellung:**

```bash
# Per SSH auf den Server
ssh -p <port> root@<proxy>

# Modell herunterladen und ausführen
ollama pull llama3.2
ollama run llama3.2
```

**Umgebungsvariablen:**

```
OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models
```

***

### Open WebUI

**ChatGPT-ähnliche Oberfläche für Ollama.**

```
Image: ghcr.io/open-webui/open-webui:ollama
Ports: 22/tcp, 8080/http
```

Enthält Ollama integriert. Zugriff über den HTTP-Port.

**Eigenständig (mit vorhandenem Ollama verbinden):**

```
Image: ghcr.io/open-webui/open-webui:main
Ports: 22/tcp, 8080/http
Umgebung: OLLAMA_BASE_URL=http://localhost:11434
```

***

### vLLM

**Leistungsstarkes LLM-Serving mit OpenAI-kompatibler API.**

```
Image: vllm/vllm-openai:latest
Ports: 22/tcp, 8000/http
Befehl: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0
```

**Für größere Modelle (Multi-GPU):**

```bash
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2 \
    --host 0.0.0.0
```

**Umgebungsvariablen:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>  # Für geschützte Modelle
```

***

### Text Generation Inference (TGI)

**Produktions-LLM-Server von HuggingFace.**

```
Image: ghcr.io/huggingface/text-generation-inference:latest
Ports: 22/tcp, 8080/http
Befehl: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct
```

**Umgebungsvariablen:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192
```

***

## Bilderzeugung

### Stable Diffusion WebUI (AUTOMATIC1111)

**Beliebteste SD-Oberfläche mit Erweiterungen.**

```
Image: universonic/stable-diffusion-webui:latest
Ports: 22/tcp, 7860/http
```

**Für wenig VRAM (8 GB oder weniger):**

```bash
./webui.sh --listen --medvram --xformers
```

**Für API-Zugriff:**

```bash
./webui.sh --listen --xformers --api
```

***

### ComfyUI

**Node-basierter Workflow für fortgeschrittene Nutzer.**

```
Image: yanwk/comfyui-boot:cu130-slim
Ports: 22/tcp, 8188/http
Umgebung: CLI_ARGS=--listen 0.0.0.0
```

**Alternative Images:**

```
# Mit gängigen Erweiterungen
Image: yanwk/comfyui-boot:cu130-megapak-pt211

# Minimal
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
```

**Manueller Einrichtungsbefehl:**

```bash
git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0
```

***

### Fooocus

**Vereinfachte SD-Oberfläche, ähnlich wie Midjourney.**

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp, 7865/http
Befehl: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen
```

***

### FLUX

**Neueste hochwertige Bildgenerierung.**

ComfyUI mit FLUX-Nodes verwenden:

```
Image: yanwk/comfyui-boot:cu130-slim
Ports: 22/tcp, 8188/http
```

Oder über Diffusers:

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp
```

```python
# Nach SSH
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("Eine Katze", num_inference_steps=4).images[0]
image.save("output.png")
EOF
```

***

## Videogenerierung

### Stable Video Diffusion

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp
```

```bash
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF
```

***

### AnimateDiff

Mit ComfyUI verwenden:

```
Image: yanwk/comfyui-boot:cu130-slim
Ports: 22/tcp, 8188/http
```

Installieren Sie AnimateDiff-Nodes über den ComfyUI Manager.

***

## Audio & Stimme

### Whisper (Transkription)

```
Image: onerahmet/openai-whisper-asr-webservice:latest
Ports: 22/tcp, 9000/http
Umgebung: ASR_MODEL=large-v3
```

**API-Nutzung:**

```bash
curl -X POST "http://localhost:9000/asr" \
    -F "audio_file=@audio.mp3" \
    -F "task=transcribe"
```

***

### Bark (Text-to-Speech)

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp
```

```bash
pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hallo, dies ist ein Test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF
```

***

### Stable Audio

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp
```

```bash
pip install stable-audio-tools
# Für den Modellzugriff ist ein HF-Token erforderlich
```

***

## Visionsmodelle

### LLaVA

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp
```

```bash
pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b
```

***

### Llama 3.2 Vision

Ollama verwenden:

```
Image: ollama/ollama
Ports: 22/tcp, 11434/http
```

```bash
ollama pull llama3.2-vision
ollama run llama3.2-vision "beschreibe dieses Bild" --images photo.jpg
```

***

## Entwicklung & Training

### PyTorch-Basis

**Für eigene Setups und Training.**

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp
```

Enthält: CUDA 12.8, cuDNN 9, PyTorch 2.11

***

### Jupyter Lab

**Interaktive Notebooks für ML.**

```
Image: quay.io/jupyter/pytorch-notebook:cuda12-pytorch-2.11.0
Ports: 22/tcp, 8888/http
```

Oder PyTorch-Basis mit Jupyter verwenden:

```bash
pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser
```

***

### Kohya-Training

**Für LoRA und Modell-Fine-Tuning.**

```
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp
```

```bash
git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# Trainingsskripte verwenden
```

***

## Referenz für Basis-Images

{% hint style="danger" %}
**Passen Sie den CUDA-Build an die Karte an.** Die RTX-50-Serie (Blackwell) benötigt CUDA 12.8+ und PyTorch 2.7+; ein CUDA-12.4-Image schlägt damit mit `für die Ausführung auf dem Gerät ist kein Kernel-Image verfügbar`. Vollständige Matrix: [CUDA- & PyTorch-Kompatibilität](/guides/guides_v2-de/erste-schritte/cuda-pytorch-compatibility.md).
{% endhint %}

### Offiziell von NVIDIA

| Image                                    | CUDA | Anwendungsfall                                          |
| ---------------------------------------- | ---- | ------------------------------------------------------- |
| `nvidia/cuda:12.8.1-devel-ubuntu22.04`   | 12.8 | CUDA-Entwicklung, funktioniert von Turing bis Blackwell |
| `nvidia/cuda:12.8.1-runtime-ubuntu22.04` | 12.8 | Nur CUDA-Laufzeit                                       |
| `nvidia/cuda:13.0.3-devel-ubuntu24.04`   | 13.0 | Neueste; nur Turing und neuer                           |
| `nvidia/cuda:11.8.0-devel-ubuntu22.04`   | 11.8 | Ältere Karten (Pascal, alte Volta-Stacks)               |

### Offiziell von PyTorch

| Image                                          | PyTorch | CUDA | Karten                                      |
| ---------------------------------------------- | ------- | ---- | ------------------------------------------- |
| `pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel` | 2.11    | 12.8 | **Standard.** Ampere, Ada, Blackwell        |
| `pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel` | 2.13    | 13.2 | Turing und neuer                            |
| `pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel` | 2.10    | 12.8 | Letzte Version mit Tesla V100-Unterstützung |
| `pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel`  | 2.5     | 12.4 | Pascal-Mining-Karten                        |

### HuggingFace

| Image                                           | Zweck                  |
| ----------------------------------------------- | ---------------------- |
| `huggingface/transformers-pytorch-gpu`          | Transformers + PyTorch |
| `ghcr.io/huggingface/text-generation-inference` | TGI-Server             |

***

## Umgebungsvariablen

### Allgemeine Variablen

| Variable                 | Beschreibung                        | Beispiel       |
| ------------------------ | ----------------------------------- | -------------- |
| `HUGGING_FACE_HUB_TOKEN` | HF-API-Token für geschützte Modelle | `hf_xxx`       |
| `CUDA_VISIBLE_DEVICES`   | GPU-Auswahl                         | `0,1`          |
| `TRANSFORMERS_CACHE`     | Modell-Cache-Verzeichnis            | `/root/.cache` |

### Ollama-Variablen

| Variable              | Beschreibung       | Standard           |
| --------------------- | ------------------ | ------------------ |
| `OLLAMA_HOST`         | Bind-Adresse       | `127.0.0.1`        |
| `OLLAMA_MODELS`       | Modellverzeichnis  | `~/.ollama/models` |
| `OLLAMA_NUM_PARALLEL` | Parallele Anfragen | `1`                |

### vLLM-Variablen

| Variable                 | Beschreibung                  |
| ------------------------ | ----------------------------- |
| `VLLM_ATTENTION_BACKEND` | Attention-Implementierung     |
| `VLLM_USE_MODELSCOPE`    | ModelScope statt HF verwenden |

***

## Port-Referenz

| Port  | Protokoll | Dienst                     |
| ----- | --------- | -------------------------- |
| 22    | TCP       | SSH                        |
| 7860  | HTTP      | Gradio (SD WebUI, Fooocus) |
| 7865  | HTTP      | Fooocus-Alternative        |
| 8000  | HTTP      | vLLM-API                   |
| 8080  | HTTP      | Open WebUI, TGI            |
| 8188  | HTTP      | ComfyUI                    |
| 8888  | HTTP      | Jupyter                    |
| 9000  | HTTP      | Whisper-API                |
| 11434 | TCP       | Ollama-API                 |

***

## Tipps

### Persistenter Speicher

Binden Sie Volumes ein, um Daten zwischen Neustarts zu behalten:

```bash
docker run -v /data/models:/root/.cache/huggingface ...
```

### GPU-Auswahl

Für Multi-GPU-Systeme:

```bash
docker run --gpus '"device=0,1"' ...
# oder
CUDA_VISIBLE_DEVICES=0,1
```

### Speicherverwaltung

Wenn der VRAM knapp wird:

1. Kleinere Modelle verwenden
2. CPU-Offload aktivieren
3. Batch-Größe reduzieren
4. Quantisierte Modelle verwenden (GGUF Q4)

## Nächste Schritte

* [GPU-Vergleich](/guides/guides_v2-de/erste-schritte/gpu-comparison.md) - Die richtige GPU wählen
* [Modellkompatibilität](/guides/guides_v2-de/erste-schritte/model-compatibility.md) - Was wo läuft
* [Schnellstart-Anleitung](/guides/guides_v2-de/quickstart.md) - In 5 Minuten loslegen


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-de/erste-schritte/docker-images.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.