Docker-Images

Bereitstellungsfertige Docker-Images für KI-Workloads auf Clore.ai

Einsatzbereite Docker-Images für KI-Workloads auf CLORE.AI.

Stellen Sie diese Images direkt unter CLORE.AI-Marktplatz.

Schnellbereitstellungs-Referenz

Am beliebtesten

Aufgabe	Image	Ports
Mit KI chatten	ollama/ollama	22, 11434
ChatGPT-ähnliche Oberfläche	ghcr.io/open-webui/open-webui	22, 8080
Bilderzeugung	universonic/stable-diffusion-webui	22, 7860
Bildgenerierung auf Node-Basis	yanwk/comfyui-boot	22, 8188
LLM-API-Server	vllm/vllm-openai	22, 8000

---

Sprachmodelle

Ollama

Universeller LLM-Runner – der einfachste Weg, jedes Modell auszuführen.

Image: ollama/ollama
Ports: 22/tcp, 11434/http
Befehl: ollama serve

Nach der Bereitstellung:

# Per SSH auf den Server
ssh -p <port> root@<proxy>

# Modell herunterladen und ausführen
ollama pull llama3.2
ollama run llama3.2

Umgebungsvariablen:

OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models

---

Open WebUI

ChatGPT-ähnliche Oberfläche für Ollama.

Image: ghcr.io/open-webui/open-webui:ollama
Ports: 22/tcp, 8080/http

Enthält Ollama integriert. Zugriff über den HTTP-Port.

Eigenständig (mit vorhandenem Ollama verbinden):

Image: ghcr.io/open-webui/open-webui:main
Ports: 22/tcp, 8080/http
Umgebung: OLLAMA_BASE_URL=http://localhost:11434

---

vLLM

Leistungsstarkes LLM-Serving mit OpenAI-kompatibler API.

Image: vllm/vllm-openai:latest
Ports: 22/tcp, 8000/http
Befehl: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0

Für größere Modelle (Multi-GPU):

python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2 \
    --host 0.0.0.0

Umgebungsvariablen:

HUGGING_FACE_HUB_TOKEN=<your-token>  # Für geschützte Modelle

---

Text Generation Inference (TGI)

Produktions-LLM-Server von HuggingFace.

Image: ghcr.io/huggingface/text-generation-inference:latest
Ports: 22/tcp, 8080/http
Befehl: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct

Umgebungsvariablen:

HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192

---

Bilderzeugung

Stable Diffusion WebUI (AUTOMATIC1111)

Beliebteste SD-Oberfläche mit Erweiterungen.

Image: universonic/stable-diffusion-webui:latest
Ports: 22/tcp, 7860/http

Für wenig VRAM (8 GB oder weniger):

./webui.sh --listen --medvram --xformers

Für API-Zugriff:

./webui.sh --listen --xformers --api

---

ComfyUI

Node-basierter Workflow für fortgeschrittene Nutzer.

Image: yanwk/comfyui-boot:cu130-slim
Ports: 22/tcp, 8188/http
Umgebung: CLI_ARGS=--listen 0.0.0.0

Alternative Images:

# Mit gängigen Erweiterungen
Image: yanwk/comfyui-boot:cu130-megapak-pt211

# Minimal
Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Manueller Einrichtungsbefehl:

git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0

---

Fooocus

Vereinfachte SD-Oberfläche, ähnlich wie Midjourney.

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp, 7865/http
Befehl: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen

---

FLUX

Neueste hochwertige Bildgenerierung.

ComfyUI mit FLUX-Nodes verwenden:

Image: yanwk/comfyui-boot:cu130-slim
Ports: 22/tcp, 8188/http

Oder über Diffusers:

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp

# Nach SSH
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("Eine Katze", num_inference_steps=4).images[0]
image.save("output.png")
EOF

---

Videogenerierung

Stable Video Diffusion

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp

pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF

---

AnimateDiff

Mit ComfyUI verwenden:

Image: yanwk/comfyui-boot:cu130-slim
Ports: 22/tcp, 8188/http

Installieren Sie AnimateDiff-Nodes über den ComfyUI Manager.

---

Audio & Stimme

Whisper (Transkription)

Image: onerahmet/openai-whisper-asr-webservice:latest
Ports: 22/tcp, 9000/http
Umgebung: ASR_MODEL=large-v3

API-Nutzung:

curl -X POST "http://localhost:9000/asr" \
    -F "audio_file=@audio.mp3" \
    -F "task=transcribe"

---

Bark (Text-to-Speech)

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp

pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hallo, dies ist ein Test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF

---

Stable Audio

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp

pip install stable-audio-tools
# Für den Modellzugriff ist ein HF-Token erforderlich

---

Visionsmodelle

LLaVA

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp

pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b

---

Llama 3.2 Vision

Ollama verwenden:

Image: ollama/ollama
Ports: 22/tcp, 11434/http

ollama pull llama3.2-vision
ollama run llama3.2-vision "beschreibe dieses Bild" --images photo.jpg

---

Entwicklung & Training

PyTorch-Basis

Für eigene Setups und Training.

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp

Enthält: CUDA 12.8, cuDNN 9, PyTorch 2.11

---

Jupyter Lab

Interaktive Notebooks für ML.

Image: quay.io/jupyter/pytorch-notebook:cuda12-pytorch-2.11.0
Ports: 22/tcp, 8888/http

Oder PyTorch-Basis mit Jupyter verwenden:

pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser

---

Kohya-Training

Für LoRA und Modell-Fine-Tuning.

Image: pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel
Ports: 22/tcp

git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# Trainingsskripte verwenden

---

Referenz für Basis-Images

Passen Sie den CUDA-Build an die Karte an. Die RTX-50-Serie (Blackwell) benötigt CUDA 12.8+ und PyTorch 2.7+; ein CUDA-12.4-Image schlägt damit mit für die Ausführung auf dem Gerät ist kein Kernel-Image verfügbar. Vollständige Matrix: CUDA- & PyTorch-Kompatibilität.

Offiziell von NVIDIA

Image	CUDA	Anwendungsfall
nvidia/cuda:12.8.1-devel-ubuntu22.04	12.8	CUDA-Entwicklung, funktioniert von Turing bis Blackwell
nvidia/cuda:12.8.1-runtime-ubuntu22.04	12.8	Nur CUDA-Laufzeit
nvidia/cuda:13.0.3-devel-ubuntu24.04	13.0	Neueste; nur Turing und neuer
nvidia/cuda:11.8.0-devel-ubuntu22.04	11.8	Ältere Karten (Pascal, alte Volta-Stacks)

Offiziell von PyTorch

Image	PyTorch	CUDA	Karten
pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel	2.11	12.8	Standard. Ampere, Ada, Blackwell
pytorch/pytorch:2.13.0-cuda13.2-cudnn9-devel	2.13	13.2	Turing und neuer
pytorch/pytorch:2.10.0-cuda12.8-cudnn9-devel	2.10	12.8	Letzte Version mit Tesla V100-Unterstützung
pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel	2.5	12.4	Pascal-Mining-Karten

HuggingFace

Image	Zweck
huggingface/transformers-pytorch-gpu	Transformers + PyTorch
ghcr.io/huggingface/text-generation-inference	TGI-Server

---

Umgebungsvariablen

Allgemeine Variablen

Variable	Beschreibung	Beispiel
HUGGING_FACE_HUB_TOKEN	HF-API-Token für geschützte Modelle	hf_xxx
CUDA_VISIBLE_DEVICES	GPU-Auswahl	0,1
TRANSFORMERS_CACHE	Modell-Cache-Verzeichnis	/root/.cache

Ollama-Variablen

Variable	Beschreibung	Standard
OLLAMA_HOST	Bind-Adresse	127.0.0.1
OLLAMA_MODELS	Modellverzeichnis	~/.ollama/models
OLLAMA_NUM_PARALLEL	Parallele Anfragen	1

vLLM-Variablen

Variable	Beschreibung
VLLM_ATTENTION_BACKEND	Attention-Implementierung
VLLM_USE_MODELSCOPE	ModelScope statt HF verwenden

---

Port-Referenz

Port	Protokoll	Dienst
22	TCP	SSH
7860	HTTP	Gradio (SD WebUI, Fooocus)
7865	HTTP	Fooocus-Alternative
8000	HTTP	vLLM-API
8080	HTTP	Open WebUI, TGI
8188	HTTP	ComfyUI
8888	HTTP	Jupyter
9000	HTTP	Whisper-API
11434	TCP	Ollama-API

---

Tipps

Persistenter Speicher

Binden Sie Volumes ein, um Daten zwischen Neustarts zu behalten:

docker run -v /data/models:/root/.cache/huggingface ...

GPU-Auswahl

Für Multi-GPU-Systeme:

docker run --gpus '"device=0,1"' ...
# oder
CUDA_VISIBLE_DEVICES=0,1

Speicherverwaltung

Wenn der VRAM knapp wird:

1. Kleinere Modelle verwenden

2. CPU-Offload aktivieren

3. Batch-Größe reduzieren

4. Quantisierte Modelle verwenden (GGUF Q4)

Nächste Schritte

• GPU-Vergleich - Die richtige GPU wählen

• Modellkompatibilität - Was wo läuft

• Schnellstart-Anleitung - In 5 Minuten loslegen