> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/video-generierung/animatediff.md). # AnimateDiff AnimateDiff ist ein Plug-and-Play-Modul, das **deine vorhandenen Stable Diffusion-Modelle animiert** ohne zusätzliches Training. Mit über 10.000 GitHub-Sternen ist es das bevorzugte Framework, um Standbild-SD-Checkpoints in flüssige, zeitlich konsistente Videogeneratoren zu verwandeln. Führe es auf einer Clore.ai-GPU-Instanz aus und verwende ComfyUI als Frontend für maximale Flexibilität. *** ## Was ist AnimateDiff? AnimateDiff fügt ein **Bewegungsmodul** in ein eingefrorenes Stable Diffusion U-Net ein. Das Bewegungsmodul wird einmal auf Videodaten trainiert und kann mit jedem feinabgestimmten SD‑1.5‑Checkpoint kombiniert werden — DreamBooth-Modelle, LoRAs, ControlNet‑Adapter — ohne erneutes Training. Das Ergebnis sind kurze animierte Clips (typischerweise 16–32 Frames bei 8 fps), die den Stil des Basismodells bewahren. **Wichtigste Höhepunkte:** * Funktioniert sofort mit jedem SD‑1.5‑Checkpoint * Kompatibel mit ControlNet, IP‑Adapter, LoRAs und anderen Erweiterungen * ComfyUI-Knoten-Ökosystem bietet vollständige Pipeline-Kontrolle * SDXL-Bewegungsmodule verfügbar für Ausgaben mit höherer Auflösung * Community-gepflegter Modellzoo mit domänenspezifischen Bewegungsmodulen *** ## Voraussetzungen | Anforderung | Minimum | Empfohlen | | ----------- | -------- | --------------- | | GPU-VRAM | 8 GB | 16–24 GB | | GPU | RTX 3080 | RTX 4090 / A100 | | RAM | 16 GB | 32 GB | | Speicher | 20 GB | 50+ GB | {% hint style="info" %} AnimateDiff mit einer Standardsequenz von 16 Frames bei 512×512 verbraucht ungefähr 8–10 GB VRAM. Für 768×768 oder längere Sequenzen werden 16+ GB empfohlen. {% endhint %} *** ## Schritt 1 — Mieten Sie eine GPU auf Clore.ai 1. Gehe zu [clore.ai](https://clore.ai) und melden Sie sich an. 2. Klicken Sie **Marktplatz** und nach VRAM filtern (≥ 16 GB für beste Ergebnisse). 3. Wähle einen Server — RTX 4090 oder A6000 bieten das beste Preis-/Leistungsverhältnis. 4. Unter **Docker-Image**, gib dein eigenes Image ein (siehe Schritt 2 unten). 5. Konfigurieren **offene Ports**: `22` (SSH) und `8188` (ComfyUI Web‑UI). 6. Klicken Sie **Mieten** und warte, bis die Instanz startet (\~1–2 Minuten). {% hint style="info" %} Verwenden Sie die **Fortgeschritten** Port-Konfiguration, um Port `8188` auf einen öffentlichen Port abzubilden. Merke dir den zugewiesenen öffentlichen Port — du wirst ihn verwenden, um auf die ComfyUI-Weboberfläche zuzugreifen. {% endhint %} *** ## Schritt 2 — Docker-Image Es gibt kein einzelnes offizielles AnimateDiff-Docker-Image. Der empfohlene Ansatz ist, ein **ComfyUI-basiertes Image** mit vorinstallierten AnimateDiff‑Knoten zu verwenden. **Empfohlenes öffentliches Image:** ``` yanwk/comfyui-boot:latest ``` Oder baue dein eigenes: ```dockerfile FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-runtime RUN apt-get update && apt-get install -y \ git wget curl ffmpeg libgl1 libglib2.0-0 \ openssh-server && \ rm -rf /var/lib/apt/lists/* # SSH einrichten RUN mkdir /var/run/sshd && \ echo 'root:clore123' | chpasswd && \ sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config # ComfyUI klonen RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \ cd /workspace/ComfyUI && pip install -r requirements.txt # ComfyUI Manager installieren RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/ltdrdata/ComfyUI-Manager # AnimateDiff-Evolved-Knoten installieren RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \ pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt # VideoHelperSuite für Ausgabe installieren RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \ pip install -r ComfyUI-VideoHelperSuite/requirements.txt EXPOSE 22 8188 CMD service ssh start && \ python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header ``` *** ## Schritt 3 — Verbindung per SSH Sobald die Instanz läuft, verbinde dich per SSH, um Modelle herunterzuladen: ```bash ssh root@ -p ``` Ersetzen Sie `` und `` mit den Werten, die in deinem Clore.ai‑Dashboard angezeigt werden. *** ## Schritt 4 — Modelle herunterladen AnimateDiff benötigt mindestens einen **Basis-SD‑1.5‑Checkpoint** und ein **Bewegungsmodul**. ### Bewegungsmodul herunterladen ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models # v3 Bewegungsmodul (empfohlen) wget -O v3_sd15_mm.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt" # v2 Bewegungsmodul (breitere Kompatibilität) wget -O mm_sd_v15_v2.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt" ``` ### Lade einen Basis‑SD‑1.5‑Checkpoint herunter ```bash cd /workspace/ComfyUI/models/checkpoints # Realistic Vision (beliebt für AnimateDiff) wget -O realisticVisionV60B1_v51VAE.safetensors \ "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors" ``` {% hint style="info" %} Du kannst jede SD‑1.5‑Feinabstimmung verwenden. Beliebte Optionen sind DreamShaper, Deliberate und Epicphotogasm. Lade sie von CivitAI oder Hugging Face herunter. {% endhint %} ### (Optional) SDXL‑Bewegungsmodul herunterladen ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models wget -O temporaldiff-v1-animatediff.safetensors \ "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors" ``` *** ## Schritt 5 — Zugriff auf ComfyUI Öffnen Sie Ihren Browser und navigieren Sie zu: ``` http://: ``` Du solltest die ComfyUI-Knoten-Editor-Oberfläche sehen. {% hint style="info" %} Lese dieses URL als Favorit ein. ComfyUI speichert deinen Workflow automatisch während der Arbeit — kein manuelles Speichern erforderlich, außer beim Exportieren von JSON. {% endhint %} *** ## Schritt 6 — Einen AnimateDiff‑Workflow laden ### Basis‑AnimateDiff‑Workflow (JSON) In ComfyUI drücke **Laden** und füge dieses Workflow‑JSON ein oder importiere es, oder baue es manuell mit diesen Knoten: **Kernknoten-Kette:** 1. `Checkpoint laden` → dein SD‑1.5‑Checkpoint 2. `CLIP Text Encode (Prompt)` → positive und negative Prompts 3. `AnimateDiff Loader` → wähle dein Bewegungsmodul 4. `KSampler (Efficient)` → Sampling‑Einstellungen 5. `VAE Decode` → Latents decodieren 6. `Video Combine` (VideoHelperSuite) → als GIF/MP4 exportieren ### Empfohlene Sampling‑Einstellungen | Parameter | Wert | | -------------- | --------------- | | Schritte | 20–25 | | CFG‑Skalierung | 7–8 | | Sampler | DPM++ 2M Karras | | Breite × Höhe | 512 × 512 | | Frames | 16 | | Kontextlänge | 16 | *** ## Schritt 7 — Führe deine erste Animation aus 1. Im `CLIP Text Encode` Knoten, gib deinen Prompt ein: ``` Ein majestätischer Löwe, der bei Sonnenuntergang durch hohes Gras läuft, cinematografisch, 4k ``` 2. Im Negative Prompt‑Knoten: ``` schlechteste Qualität, niedrige Qualität, verschwommen, Wasserzeichen, deformiert, nsfw ``` 3. In `AnimateDiff Loader`, wähle `v3_sd15_mm.ckpt` 4. Klicken Sie **Prompt in die Warteschlange stellen** {% hint style="info" %} Die Generierungszeit für 16 Frames bei 512×512 mit 20 Schritten beträgt ungefähr **30–60 Sekunden** auf einer RTX 4090. Längere Sequenzen und höhere Auflösungen skalieren linear. {% endhint %} *** ## Fortgeschrittene Techniken ### Verwendung von ControlNet mit AnimateDiff AnimateDiff funktioniert mit ControlNet für geführte Videogenerierung: ```bash # ControlNet-Modell herunterladen cd /workspace/ComfyUI/models/controlnet wget -O control_v11p_sd15_openpose.pth \ "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth" ``` Fügen Sie einen `ControlNet Apply` Knoten zwischen `ControlNet-Modell laden` und `KSampler`. Verwende ein OpenPose-Skelettbild als Konditionierungseingabe. ### Prompt-Travel (Keyframe‑Animation) Der AnimateDiff‑Evolved‑Knoten unterstützt **Prompt‑Travel** — unterschiedliche Text‑Prompts in verschiedenen Frames: ``` "Ein Wald bei Morgendämmerung" → Frame 0 "Ein Wald am Mittag" → Frame 8 "Ein Wald bei Sonnenuntergang" → Frame 16 ``` Das erzeugt sanfte Übergänge zwischen Szenen ohne manuelles Keyframing. ### Verwendung von LoRA mit AnimateDiff ```bash # Motion‑LoRA herunterladen cd /workspace/ComfyUI/models/loras wget -O v2_lora_PanLeft.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt" ``` Fügen Sie einen `LoRA Loader` Knoten, um Kamerabewegungseffekte anzuwenden: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise. *** ## Ausgabeformate AnimateDiff unterstützt über VideoHelperSuite: | Format | Knoten | Hinweise | | ---------- | ---------------- | ------------------------------- | | GIF | `Video Combine` | Am besten zum Teilen geeignet | | MP4 (h264) | `Video Combine` | Kleinste Dateigröße | | WebP | `Video Combine` | Gutes Verhältnis Qualität/Größe | | PNG‑Frames | `Bild speichern` | Für Nachbearbeitung | *** ## Fehlerbehebung ### Nicht genügend Speicher (CUDA OOM) ``` RuntimeError: CUDA out of memory ``` **Lösungen:** * Reduziere die Frame‑Anzahl (versuche 8 statt 16) * Reduziere die Auflösung (512×512 ist der Sweetspot für SD‑1.5) * Aktivieren Sie `--lowvram` Flag in dem ComfyUI‑Startbefehl * Verwende `fp16` Präzision im `Checkpoint laden` Knoten ### Bewegungsmodul nicht gefunden ``` Fehler: Bewegungsmodul nicht gefunden ``` **Lösung:** Überprüfe die `.ckpt` Datei befindet sich in: ``` /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ ``` Aktualisiere die ComfyUI‑Seite, um verfügbare Modelle neu zu laden. ### Flackern / Inkonsistente Frames **Lösungen:** * Erhöhen `context_length` um die Gesamtframe‑Anzahl anzupassen * Verwende `v3_sd15_mm.ckpt` anstelle von v2 (bessere zeitliche Konsistenz) * Niedrigere CFG‑Skala (versuche 7 statt 9) * Verwende einen Sampler mit geringerer Varianz: `DPM++ 2M Karras` oder `Euler a` ### SSH‑Verbindung verweigert ```bash ssh: connect to host port : Connection refused ``` **Lösung:** Warte 1–2 Minuten, bis der SSH‑Daemon gestartet ist, oder prüfe, ob der Container über die Clore.ai‑Dashboard‑Logs vollständig initialisiert wurde. *** ## Clore.ai GPU-Empfehlungen AnimateDiff verwendet SD‑1.5‑Backbone — die VRAM‑Anforderungen sind im Vergleich zu modernen Videomodellen moderat, wodurch es kosteneffizient ist. | GPU | VRAM | Clore.ai-Preis | 16 Frames @ 512px | Hinweise | | ------------- | ----- | -------------- | ----------------- | ---------------------------------------------------------------------------- | | RTX 3090 | 24 GB | \~$0.12/Stunde | \~50s | Bestes Preis‑Leistungs‑Verhältnis — mehrere Warteschlangen‑Batches ausführen | | RTX 4090 | 24 GB | \~$0.70/Stunde | \~30s | Schnellste Consumer‑GPU | | A100 40GB | 40 GB | \~$1.20/Stunde | \~18s | Overkill für SD‑1.5, aber gut für SDXL+AnimateDiff | | RTX 3080 10GB | 10 GB | \~$0.07/Stunde | \~90s | Budget‑Minimum — beschränkt auf 512px, kürzere Clips | {% hint style="info" %} **RTX 3090 ist der AnimateDiff‑Sweetspot** bei \~$0.12/Stunde. Eine 16‑Frame‑Animation dauert \~50 Sekunden, das heißt, du kannst 70+ Clips pro ausgegebenem Dollar erzeugen. Für umfangreiche Inhaltserstellung Batch‑Warteschlangen in ComfyUI nutzen und über Nacht laufen lassen. {% endhint %} **SDXL‑AnimateDiff‑Nutzer:** Die SDXL‑Bewegungsmodule benötigen 12GB+ VRAM für 768px. RTX 3090/4090 bewältigen das gut. RTX 3080 (10GB) ist für SDXL‑Workflows zu begrenzt. *** ## Nützliche Ressourcen * [AnimateDiff GitHub](https://github.com/guoyww/AnimateDiff) * [ComfyUI-AnimateDiff-Evolved](https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved) * [ComfyUI Offiziell](https://github.com/comfyanonymous/ComfyUI) * [AnimateDiff Bewegungsmodelle (HuggingFace)](https://huggingface.co/guoyww/animatediff) * [CivitAI — SD Checkpoints](https://civitai.com) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-de/video-generierung/animatediff.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.