AnimateDiff

AnimateDiff ist ein Plug-and-Play-Modul, das Ihre bestehenden Stable-Diffusion-Modelle animiert ohne zusätzliches Training. Mit über 10.000 GitHub-Sternen ist es das Standard-Framework, um SD-Checkpoints für Standbilder in flüssige, zeitlich konsistente Video-Generatoren zu verwandeln. Führen Sie es auf einer Clore.ai-GPU-Instanz mit ComfyUI als Frontend für maximale Flexibilität aus.

---

Was ist AnimateDiff?

AnimateDiff fügt ein Motion-Modul in ein eingefrorenes Stable-Diffusion-U-Net ein. Das Motion-Modul wird einmal mit Videodaten trainiert und kann mit jedem feinabgestimmten SD-1.5-Checkpoint kombiniert werden — DreamBooth-Modelle, LoRAs, ControlNet-Adapter — ohne erneutes Training. Das Ergebnis sind kurze animierte Clips (typischerweise 16–32 Frames bei 8 fps), die den Stil des Basismodells beibehalten.

Wichtige Highlights:

• Funktioniert sofort mit jedem SD-1.5-Checkpoint

• Kompatibel mit ControlNet, IP-Adapter, LoRAs und anderen Erweiterungen

• Das ComfyUI-Node-Ökosystem bietet volle Kontrolle über die Pipeline

• SDXL-Motion-Module für Ausgaben mit höherer Auflösung verfügbar

• Von der Community gepflegte Modellbibliothek mit domänenspezifischen Motion-Modulen

---

Voraussetzungen

Anforderung	Minimum	Empfohlen
GPU-VRAM	8 GB	16–24 GB
GPU	RTX 3080	RTX 4090 / A100
RAM	16 GB	32 GB
Speicher	20 GB	50+ GB

AnimateDiff mit einer Standardsequenz von 16 Frames bei 512×512 verbraucht ungefähr 8–10 GB VRAM. Für 768×768 oder längere Sequenzen werden 16+ GB empfohlen.

---

Schritt 1 — Miete eine GPU auf Clore.ai

1. Gehe zu clore.ai und melden Sie sich an.

2. Klicken Sie auf Marktplatz und nach VRAM filtern (≥ 16 GB für beste Ergebnisse).

3. Wählen Sie einen Server — RTX 4090 oder A6000 bietet das beste Preis-Leistungs-Verhältnis.

4. Unter Docker-Image, geben Sie Ihr benutzerdefiniertes Image ein (siehe Schritt 2 unten).

5. Konfigurieren offene Ports: 22 (SSH) und 8188 (ComfyUI-Weboberfläche).

6. Klicken Sie auf Mieten und warten Sie, bis die Instanz startet (~1–2 Minuten).

Nutzen Sie den Fortgeschritten Portkonfiguration, um Port 8188 auf einen öffentlichen Port abzubilden. Notieren Sie sich den zugewiesenen öffentlichen Port — Sie werden ihn für den Zugriff auf die ComfyUI-Weboberfläche verwenden.

---

Schritt 2 — Docker-Image

Es gibt kein einzelnes offizielles AnimateDiff-Docker-Image. Der empfohlene Ansatz ist die Verwendung eines ComfyUI-basierten Images mit vorinstallierten AnimateDiff-Nodes.

Empfohlenes öffentliches Image:

yanwk/comfyui-boot:latest

Oder erstellen Sie Ihr eigenes:

FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

RUN apt-get update && apt-get install -y \
    git wget curl ffmpeg libgl1 libglib2.0-0 \
    openssh-server && \
    rm -rf /var/lib/apt/lists/*

# SSH einrichten
RUN mkdir /var/run/sshd && \
    echo 'root:clore123' | chpasswd && \
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# ComfyUI klonen
RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \
    cd /workspace/ComfyUI && pip install -r requirements.txt

# ComfyUI Manager installieren
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/ltdrdata/ComfyUI-Manager

# AnimateDiff-Evolved-Nodes installieren
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \
    pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt

# VideoHelperSuite für die Ausgabe installieren
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \
    pip install -r ComfyUI-VideoHelperSuite/requirements.txt

EXPOSE 22 8188

CMD service ssh start && \\
    python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header

---

Schritt 3 — Per SSH verbinden

Sobald die Instanz läuft, verbinden Sie sich per SSH, um Modelle herunterzuladen:

ssh root@<clore-host> -p <assigned-ssh-port>

Ersetzen <clore-host> und <zugewiesener-ssh-port> mit den in Ihrem Clore.ai-Dashboard angezeigten Werten.

---

Schritt 4 — Modelle herunterladen

AnimateDiff erfordert mindestens einen SD-1.5-Basis-Checkpoint und ein Motion-Modul.

Motion-Modul herunterladen

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

# v3-Motion-Modul (empfohlen)
wget -O v3_sd15_mm.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt"

# v2-Motion-Modul (breitere Kompatibilität)
wget -O mm_sd_v15_v2.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt"

Einen SD-1.5-Basis-Checkpoint herunterladen

cd /workspace/ComfyUI/models/checkpoints

# Realistic Vision (beliebt für AnimateDiff)
wget -O realisticVisionV60B1_v51VAE.safetensors \
  "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors"

Sie können jeden SD-1.5-Fine-Tune verwenden. Beliebte Optionen sind DreamShaper, Deliberate und Epicphotogasm. Laden Sie sie von CivitAI oder Hugging Face herunter.

(Optional) SDXL-Motion-Modul herunterladen

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

wget -O temporaldiff-v1-animatediff.safetensors \
  "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors"

---

Schritt 5 — Auf ComfyUI zugreifen

Öffnen Sie Ihren Browser und navigieren Sie zu:

http://<clore-host>:<public-port-8188>

Sie sollten die ComfyUI-Node-Editor-Oberfläche sehen.

Setzen Sie ein Lesezeichen für diese URL. ComfyUI speichert Ihren Workflow automatisch während der Arbeit — Sie müssen nur dann manuell speichern, wenn Sie JSON exportieren.

---

Schritt 6 — Einen AnimateDiff-Workflow laden

Einfacher AnimateDiff-Workflow (JSON)

Drücken Sie in ComfyUI Laden und fügen Sie dieses Workflow-JSON ein oder importieren Sie es, oder erstellen Sie es manuell mit diesen Nodes:

Kern-Node-Kette:

1. Checkpoint laden → Ihr SD-1.5-Checkpoint

2. CLIP Text Encode (Prompt) → positive und negative Prompts

3. AnimateDiff Loader → wählen Sie Ihr Motion-Modul aus

4. KSampler (Efficient) → Sampling-Einstellungen

5. VAE-Decodierung → Latents dekodieren

6. Video Combine (VideoHelperSuite) → als GIF/MP4 exportieren

Empfohlene Sampling-Einstellungen

Parameter	Wert
Schritte	20–25
CFG-Scale	7–8
Sampler	DPM++ 2M Karras
Breite × Höhe	512 × 512
Frames	16
Kontextlänge	16

---

Schritt 7 — Ihre erste Animation ausführen

1. Im CLIP-Text-Kodierung Knoten, geben Sie Ihren Prompt ein:

   Ein majestätischer Löwe, der bei Sonnenuntergang durch hohes Gras läuft, filmisch, 4k

2. Im Knoten für den negativen Prompt:

   schlechteste Qualität, niedrige Qualität, unscharf, Wasserzeichen, deformiert, nsfw

3. In AnimateDiff Loader, wählen Sie v3_sd15_mm.ckpt

4. Klicken Sie auf Prompt in Warteschlange

Die Generierungszeit für 16 Frames bei 512×512 mit 20 Schritten beträgt ungefähr 30–60 Sekunden auf einer RTX 4090. Längere Sequenzen und höhere Auflösungen skalieren linear.

---

Fortgeschrittene Techniken

ControlNet mit AnimateDiff verwenden

AnimateDiff funktioniert mit ControlNet für geführte Videogenerierung:

# ControlNet-Modell herunterladen
cd /workspace/ComfyUI/models/controlnet
wget -O control_v11p_sd15_openpose.pth \
  "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth"

Fügen Sie ein ControlNet Apply Node zwischen Load ControlNet Model und KSamplerein. Verwenden Sie ein OpenPose-Skelettbild als Conditioning-Eingabe.

Prompt Travel (Keyframe-Animation)

Der AnimateDiff-Evolved-Node unterstützt Prompt Travel — unterschiedliche Textprompts in unterschiedlichen Frames:

"Ein Wald im Morgengrauen" → Frame 0
"Ein Wald am Mittag" → Frame 8
"Ein Wald bei Sonnenuntergang" → Frame 16

Dadurch entstehen fließende Übergänge zwischen Szenen ohne manuelles Keyframing.

LoRA mit AnimateDiff verwenden

# Motion-LoRA herunterladen
cd /workspace/ComfyUI/models/loras
wget -O v2_lora_PanLeft.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt"

Fügen Sie ein LoRA Loader Node, um Kamera-Bewegungseffekte anzuwenden: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise.

---

Ausgabeformate

AnimateDiff über VideoHelperSuite unterstützt:

Format	Knoten	Hinweise
GIF	Video Combine	Am besten zum Teilen
MP4 (h264)	Video Combine	Kleinste Dateigröße
WebP	Video Combine	Gute Qualität/Größe
PNG-Frames	Bild speichern	Für die Nachbearbeitung

---

Fehlerbehebung

Speicher voll (CUDA OOM)

RuntimeError: CUDA out of memory

Lösungen:

• Anzahl der Frames reduzieren (versuchen Sie 8 statt 16)

• Auflösung reduzieren (512×512 ist der Sweet Spot für SD 1.5)

• Aktiviere --lowvram Flag im ComfyUI-Startbefehl

• Verwende fp16 Präzision in Checkpoint laden Knoten hinzu

Motion-Modul nicht gefunden

Fehler: Motion-Modul nicht gefunden

Lösung: Überprüfen Sie, ob die .ckpt Datei sich in folgendem Pfad befindet:

/workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

Aktualisieren Sie die ComfyUI-Seite, um die verfügbaren Modelle neu zu laden.

Flackernde / inkonsistente Frames

Lösungen:

• Erhöhen Sie context_length an die Gesamtzahl der Frames anpassen

• Verwende v3_sd15_mm.ckpt anstelle von v2 (bessere zeitliche Konsistenz)

• Niedrigeren CFG-Scale verwenden (versuchen Sie 7 statt 9)

• Einen Sampler mit geringerer Varianz verwenden: DPM++ 2M Karras oder Euler a

SSH-Verbindung abgelehnt

ssh: Verbindung zu Host <ip> Port <port>: Verbindung abgelehnt

Lösung: Warten Sie 1–2 Minuten, bis der SSH-Daemon gestartet ist, oder prüfen Sie in den Clore.ai-Dashboard-Logs, ob der Container vollständig initialisiert wurde.

---

GPU-Empfehlungen für Clore.ai

AnimateDiff verwendet das SD-1.5-Backbone — die VRAM-Anforderungen sind im Vergleich zu modernen Video-Modellen gering, was es budgetfreundlich macht.

GPU	VRAM	Clore.ai-Preis	16 Frames @ 512px	Hinweise
RTX 3090	24 GB	ca. 0,07–0,21 $/h	~50 Sek.	Bester Wert — mehrere Warteschlangen-Batches ausführen
RTX 4090	24 GB	ca. 0,14–0,42 $/h	~30s	Schnellste Consumer-GPU
A100 40GB	40 GB	Bare Metal	~18 Sek.	Überdimensioniert für SD 1.5, aber gut für SDXL+AnimateDiff
RTX 3080 10GB	10 GB	$0,05–0,19/Std.	~90 Sek.	Budget-Minimum — auf 512px und kürzere Clips begrenzt

Die RTX 3090 ist der Sweet Spot für AnimateDiff bei 0,07–0,21 $/h. Eine 16-Frame-Animation dauert etwa 50 Sekunden, was bedeutet, dass Sie 70+ Clips pro ausgegebenem Dollar erzeugen können. Für Content-Erstellung in großem Umfang stellen Sie in ComfyUI eine Batch-Warteschlange ein und lassen Sie es über Nacht laufen.

SDXL-AnimateDiff-Nutzer: Die SDXL-Motion-Module benötigen für 768px 12 GB+ VRAM. RTX 3090/4090 kommen damit gut zurecht. Eine RTX 3080 (10 GB) ist für SDXL-Workflows zu محدود? Wait German. Need translation. Let's correct output? We already output with maybe

---

Nützliche Ressourcen

• AnimateDiff GitHub

• ComfyUI-AnimateDiff-Evolved

• Offizielles ComfyUI

• AnimateDiff Motion Models (HuggingFace)

• CivitAI — SD-Checkpoints