> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-de/videogenerierung/animatediff.md). # AnimateDiff AnimateDiff ist ein Plug-and-Play-Modul, das **Ihre bestehenden Stable-Diffusion-Modelle animiert** ohne zusätzliches Training. Mit über 10.000 GitHub-Sternen ist es das Standard-Framework, um SD-Checkpoints für Standbilder in flüssige, zeitlich konsistente Video-Generatoren zu verwandeln. Führen Sie es auf einer Clore.ai-GPU-Instanz mit ComfyUI als Frontend für maximale Flexibilität aus. *** ## Was ist AnimateDiff? AnimateDiff fügt ein **Motion-Modul** in ein eingefrorenes Stable-Diffusion-U-Net ein. Das Motion-Modul wird einmal mit Videodaten trainiert und kann mit jedem feinabgestimmten SD-1.5-Checkpoint kombiniert werden — DreamBooth-Modelle, LoRAs, ControlNet-Adapter — ohne erneutes Training. Das Ergebnis sind kurze animierte Clips (typischerweise 16–32 Frames bei 8 fps), die den Stil des Basismodells beibehalten. **Wichtige Highlights:** * Funktioniert sofort mit jedem SD-1.5-Checkpoint * Kompatibel mit ControlNet, IP-Adapter, LoRAs und anderen Erweiterungen * Das ComfyUI-Node-Ökosystem bietet volle Kontrolle über die Pipeline * SDXL-Motion-Module für Ausgaben mit höherer Auflösung verfügbar * Von der Community gepflegte Modellbibliothek mit domänenspezifischen Motion-Modulen *** ## Voraussetzungen | Anforderung | Minimum | Empfohlen | | ----------- | -------- | --------------- | | GPU-VRAM | 8 GB | 16–24 GB | | GPU | RTX 3080 | RTX 4090 / A100 | | RAM | 16 GB | 32 GB | | Speicher | 20 GB | 50+ GB | {% hint style="info" %} AnimateDiff mit einer Standardsequenz von 16 Frames bei 512×512 verbraucht ungefähr 8–10 GB VRAM. Für 768×768 oder längere Sequenzen werden 16+ GB empfohlen. {% endhint %} *** ## Schritt 1 — Miete eine GPU auf Clore.ai 1. Gehe zu [clore.ai](https://clore.ai) und melden Sie sich an. 2. Klicken Sie auf **Marktplatz** und nach VRAM filtern (≥ 16 GB für beste Ergebnisse). 3. Wählen Sie einen Server — RTX 4090 oder A6000 bietet das beste Preis-Leistungs-Verhältnis. 4. Unter **Docker-Image**, geben Sie Ihr benutzerdefiniertes Image ein (siehe Schritt 2 unten). 5. Konfigurieren **offene Ports**: `22` (SSH) und `8188` (ComfyUI-Weboberfläche). 6. Klicken Sie auf **Mieten** und warten Sie, bis die Instanz startet (\~1–2 Minuten). {% hint style="info" %} Nutzen Sie den **Fortgeschritten** Portkonfiguration, um Port `8188` auf einen öffentlichen Port abzubilden. Notieren Sie sich den zugewiesenen öffentlichen Port — Sie werden ihn für den Zugriff auf die ComfyUI-Weboberfläche verwenden. {% endhint %} *** ## Schritt 2 — Docker-Image Es gibt kein einzelnes offizielles AnimateDiff-Docker-Image. Der empfohlene Ansatz ist die Verwendung eines **ComfyUI-basierten Images** mit vorinstallierten AnimateDiff-Nodes. **Empfohlenes öffentliches Image:** ``` yanwk/comfyui-boot:latest ``` Oder erstellen Sie Ihr eigenes: ```dockerfile FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime RUN apt-get update && apt-get install -y \ git wget curl ffmpeg libgl1 libglib2.0-0 \ openssh-server && \ rm -rf /var/lib/apt/lists/* # SSH einrichten RUN mkdir /var/run/sshd && \ echo 'root:clore123' | chpasswd && \ sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config # ComfyUI klonen RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \ cd /workspace/ComfyUI && pip install -r requirements.txt # ComfyUI Manager installieren RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/ltdrdata/ComfyUI-Manager # AnimateDiff-Evolved-Nodes installieren RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \ pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt # VideoHelperSuite für die Ausgabe installieren RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \ pip install -r ComfyUI-VideoHelperSuite/requirements.txt EXPOSE 22 8188 CMD service ssh start && \\ python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header ``` *** ## Schritt 3 — Per SSH verbinden Sobald die Instanz läuft, verbinden Sie sich per SSH, um Modelle herunterzuladen: ```bash ssh root@ -p ``` Ersetzen `` und `` mit den in Ihrem Clore.ai-Dashboard angezeigten Werten. *** ## Schritt 4 — Modelle herunterladen AnimateDiff erfordert mindestens einen **SD-1.5-Basis-Checkpoint** und ein **Motion-Modul**. ### Motion-Modul herunterladen ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models # v3-Motion-Modul (empfohlen) wget -O v3_sd15_mm.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt" # v2-Motion-Modul (breitere Kompatibilität) wget -O mm_sd_v15_v2.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt" ``` ### Einen SD-1.5-Basis-Checkpoint herunterladen ```bash cd /workspace/ComfyUI/models/checkpoints # Realistic Vision (beliebt für AnimateDiff) wget -O realisticVisionV60B1_v51VAE.safetensors \ "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors" ``` {% hint style="info" %} Sie können jeden SD-1.5-Fine-Tune verwenden. Beliebte Optionen sind DreamShaper, Deliberate und Epicphotogasm. Laden Sie sie von CivitAI oder Hugging Face herunter. {% endhint %} ### (Optional) SDXL-Motion-Modul herunterladen ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models wget -O temporaldiff-v1-animatediff.safetensors \ "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors" ``` *** ## Schritt 5 — Auf ComfyUI zugreifen Öffnen Sie Ihren Browser und navigieren Sie zu: ``` http://: ``` Sie sollten die ComfyUI-Node-Editor-Oberfläche sehen. {% hint style="info" %} Setzen Sie ein Lesezeichen für diese URL. ComfyUI speichert Ihren Workflow automatisch während der Arbeit — Sie müssen nur dann manuell speichern, wenn Sie JSON exportieren. {% endhint %} *** ## Schritt 6 — Einen AnimateDiff-Workflow laden ### Einfacher AnimateDiff-Workflow (JSON) Drücken Sie in ComfyUI **Laden** und fügen Sie dieses Workflow-JSON ein oder importieren Sie es, oder erstellen Sie es manuell mit diesen Nodes: **Kern-Node-Kette:** 1. `Checkpoint laden` → Ihr SD-1.5-Checkpoint 2. `CLIP Text Encode (Prompt)` → positive und negative Prompts 3. `AnimateDiff Loader` → wählen Sie Ihr Motion-Modul aus 4. `KSampler (Efficient)` → Sampling-Einstellungen 5. `VAE-Decodierung` → Latents dekodieren 6. `Video Combine` (VideoHelperSuite) → als GIF/MP4 exportieren ### Empfohlene Sampling-Einstellungen | Parameter | Wert | | ------------- | --------------- | | Schritte | 20–25 | | CFG-Scale | 7–8 | | Sampler | DPM++ 2M Karras | | Breite × Höhe | 512 × 512 | | Frames | 16 | | Kontextlänge | 16 | *** ## Schritt 7 — Ihre erste Animation ausführen 1. Im `CLIP-Text-Kodierung` Knoten, geben Sie Ihren Prompt ein: ``` Ein majestätischer Löwe, der bei Sonnenuntergang durch hohes Gras läuft, filmisch, 4k ``` 2. Im Knoten für den negativen Prompt: ``` schlechteste Qualität, niedrige Qualität, unscharf, Wasserzeichen, deformiert, nsfw ``` 3. In `AnimateDiff Loader`, wählen Sie `v3_sd15_mm.ckpt` 4. Klicken Sie auf **Prompt in Warteschlange** {% hint style="info" %} Die Generierungszeit für 16 Frames bei 512×512 mit 20 Schritten beträgt ungefähr **30–60 Sekunden** auf einer RTX 4090. Längere Sequenzen und höhere Auflösungen skalieren linear. {% endhint %} *** ## Fortgeschrittene Techniken ### ControlNet mit AnimateDiff verwenden AnimateDiff funktioniert mit ControlNet für geführte Videogenerierung: ```bash # ControlNet-Modell herunterladen cd /workspace/ComfyUI/models/controlnet wget -O control_v11p_sd15_openpose.pth \ "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth" ``` Fügen Sie ein `ControlNet Apply` Node zwischen `Load ControlNet Model` und `KSampler`ein. Verwenden Sie ein OpenPose-Skelettbild als Conditioning-Eingabe. ### Prompt Travel (Keyframe-Animation) Der AnimateDiff-Evolved-Node unterstützt **Prompt Travel** — unterschiedliche Textprompts in unterschiedlichen Frames: ``` "Ein Wald im Morgengrauen" → Frame 0 "Ein Wald am Mittag" → Frame 8 "Ein Wald bei Sonnenuntergang" → Frame 16 ``` Dadurch entstehen fließende Übergänge zwischen Szenen ohne manuelles Keyframing. ### LoRA mit AnimateDiff verwenden ```bash # Motion-LoRA herunterladen cd /workspace/ComfyUI/models/loras wget -O v2_lora_PanLeft.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt" ``` Fügen Sie ein `LoRA Loader` Node, um Kamera-Bewegungseffekte anzuwenden: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise. *** ## Ausgabeformate AnimateDiff über VideoHelperSuite unterstützt: | Format | Knoten | Hinweise | | ---------- | ---------------- | ----------------------- | | GIF | `Video Combine` | Am besten zum Teilen | | MP4 (h264) | `Video Combine` | Kleinste Dateigröße | | WebP | `Video Combine` | Gute Qualität/Größe | | PNG-Frames | `Bild speichern` | Für die Nachbearbeitung | *** ## Fehlerbehebung ### Speicher voll (CUDA OOM) ``` RuntimeError: CUDA out of memory ``` **Lösungen:** * Anzahl der Frames reduzieren (versuchen Sie 8 statt 16) * Auflösung reduzieren (512×512 ist der Sweet Spot für SD 1.5) * Aktiviere `--lowvram` Flag im ComfyUI-Startbefehl * Verwende `fp16` Präzision in `Checkpoint laden` Knoten hinzu ### Motion-Modul nicht gefunden ``` Fehler: Motion-Modul nicht gefunden ``` **Lösung:** Überprüfen Sie, ob die `.ckpt` Datei sich in folgendem Pfad befindet: ``` /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ ``` Aktualisieren Sie die ComfyUI-Seite, um die verfügbaren Modelle neu zu laden. ### Flackernde / inkonsistente Frames **Lösungen:** * Erhöhen Sie `context_length` an die Gesamtzahl der Frames anpassen * Verwende `v3_sd15_mm.ckpt` anstelle von v2 (bessere zeitliche Konsistenz) * Niedrigeren CFG-Scale verwenden (versuchen Sie 7 statt 9) * Einen Sampler mit geringerer Varianz verwenden: `DPM++ 2M Karras` oder `Euler a` ### SSH-Verbindung abgelehnt ```bash ssh: Verbindung zu Host Port : Verbindung abgelehnt ``` **Lösung:** Warten Sie 1–2 Minuten, bis der SSH-Daemon gestartet ist, oder prüfen Sie in den Clore.ai-Dashboard-Logs, ob der Container vollständig initialisiert wurde. *** ## GPU-Empfehlungen für Clore.ai AnimateDiff verwendet das SD-1.5-Backbone — die VRAM-Anforderungen sind im Vergleich zu modernen Video-Modellen gering, was es budgetfreundlich macht. | GPU | VRAM | Clore.ai-Preis | 16 Frames @ 512px | Hinweise | | ------------- | ----- | ----------------------------------------- | ----------------- | ----------------------------------------------------------- | | RTX 3090 | 24 GB | ca. 0,07–0,21 $/h | \~50 Sek. | Bester Wert — mehrere Warteschlangen-Batches ausführen | | RTX 4090 | 24 GB | ca. 0,14–0,42 $/h | \~30s | Schnellste Consumer-GPU | | A100 40GB | 40 GB | [Bare Metal](https://clore.ai/bare-metal) | \~18 Sek. | Überdimensioniert für SD 1.5, aber gut für SDXL+AnimateDiff | | RTX 3080 10GB | 10 GB | $0,05–0,19/Std. | \~90 Sek. | Budget-Minimum — auf 512px und kürzere Clips begrenzt | {% hint style="info" %} **Die RTX 3090 ist der Sweet Spot für AnimateDiff** bei 0,07–0,21 $/h. Eine 16-Frame-Animation dauert etwa 50 Sekunden, was bedeutet, dass Sie 70+ Clips pro ausgegebenem Dollar erzeugen können. Für Content-Erstellung in großem Umfang stellen Sie in ComfyUI eine Batch-Warteschlange ein und lassen Sie es über Nacht laufen. {% endhint %} **SDXL-AnimateDiff-Nutzer:** Die SDXL-Motion-Module benötigen für 768px 12 GB+ VRAM. RTX 3090/4090 kommen damit gut zurecht. Eine RTX 3080 (10 GB) ist für SDXL-Workflows zu محدود? Wait German. Need translation. Let's correct output? We already output with maybe *** ## Nützliche Ressourcen * [AnimateDiff GitHub](https://github.com/guoyww/AnimateDiff) * [ComfyUI-AnimateDiff-Evolved](https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved) * [Offizielles ComfyUI](https://github.com/comfyanonymous/ComfyUI) * [AnimateDiff Motion Models (HuggingFace)](https://huggingface.co/guoyww/animatediff) * [CivitAI — SD-Checkpoints](https://civitai.com) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-de/videogenerierung/animatediff.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.