Wan 2.2 VBVR (Bewegungssteuerung)

Wan 2.2 VBVR (Video-Based Video Reference) ist Alibabas Erweiterung vom April 2026 für das Wan-2.2-Image-to-Video-Grundmodell. Sie fügt eine leistungsstarke neue Fähigkeit hinzu: Du gibst einen Referenz-Videoclip an, um Bewegungsmuster in deinem generierten Video zu steuern, nicht nur ein Startbild. Das Ergebnis ist eine konsistente, steuerbare Animation — dieselbe Figur, dasselbe Produkt oder dieselbe Szene folgt dem Bewegungsverlauf aus deinem Referenzmaterial.

Diese Anleitung behandelt die Bereitstellung von Wan 2.2 VBVR über ComfyUI auf einer GPU-Miete bei Clore.ai.

---

Was ist VBVR (Video-Based Video Reference)?

Traditionelle Bild-zu-Video-Modelle nehmen ein statisches Bild und erzeugen Bewegung von Grund auf neu. Die Bewegung wird durch deinen Text-Prompt gesteuert, kann aber unvorhersehbar sein — besonders bei spezifischen Gesten, Kamerabewegungen oder Aktionen von Figuren.

VBVR ändert die Ausgangslage: du lieferst:

1. Ein Startbild — dein Motiv (Figur, Produkt, Szene)

2. Ein Referenzbewegungsvideo — ein kurzer Clip, der die gewünschte Bewegung demonstriert

3. Ein Text-Prompt — beschreibt Inhalt und Stil

Das Modell extrahiert das Bewegungsmuster aus dem Referenzvideo und überträgt es auf dein Startbild, wodurch ein neues Video erzeugt wird, in dem dein Motiv diese Bewegung natürlich ausführt.

Beispielanwendungen

Eingabebild	Bewegung des Referenzvideos	Ausgabe
Produktfoto	Hand, die einen ähnlichen Gegenstand aufnimmt	Animation zum Aufnehmen des Produkts
Figurenillustration	Gehzyklus eines Schauspielers	Figur geht
Modell für Mode	Laufsteg-Gehlauf-Material	Kleidung in Bewegung
Gebäudeaußenansicht	Kameraschwenk aus Drohnenaufnahmen	Cinematischer B-Roll-Reveal

---

Modellübersicht

• Vollständiger Name: Wan 2.2 I2V-A14B mit VBVR (Video-Based Video Reference)

• Veröffentlicht: April 2026 von Alibaba / dem Wan-AI-Team

• Basiert auf: Wan 2.2 I2V-A14B (Bild-zu-Video, 14B Parameter, bis zu 480p Auflösung)

• HuggingFace: Wan-AI/Wan2.2-I2V-A14B

• VBVR-Workflow: über Community-Nodes des ComfyUI Managers verteilt

• Lizenz: Apache 2.0

Varianten

Variante	Erforderlicher VRAM	Qualität	Geschwindigkeit
FP8	16–24 GB	Hoch	Schnell
BF16	24–40 GB	Am höchsten	Mittel

Der FP8-Variante läuft auf einer RTX 3090 (24 GB) und passt mit reduzierter Batch-Größe sogar auf 16-GB-Karten. Die BF16-Variante liefert die beste Qualität und läuft komfortabel auf einer RTX 4090 (24 GB) oder A6000 (48 GB).

---

Hardware-Anforderungen

GPU	VRAM	Variante	Preis auf Clore.ai
RTX 3090	24 GB	FP8 ✅	ca. 0,07–0,21 $/h
RTX 4090	24 GB	FP8 ✅ / BF16 ✅	ca. 0,14–0,42 $/h
A6000 48GB	48 GB	BF16 ✅	0,35–0,38 $/Std.
A100 80GB	80 GB	BF16 ✅	Bare Metal

Für die meisten Nutzer ist eine RTX 4090 für 0,14–0,42 $/Std. die beste Balance aus Preis und Qualität und läuft mit BF16 in voller 480p-Auflösung.

---

Schritt-für-Schritt-Einrichtung auf Clore.ai

Schritt 1: Eine GPU mieten

Besuchen clore.ai/marketplace:

• Budget: RTX 3090 (0,07–0,21 $/Std.) — nur FP8

• Empfohlen: RTX 4090 (0,14–0,42 $/Std.) — BF16-Qualität

• Premium: A6000 (0,35–0,38 $/Std.) — Batch-Verarbeitung, hoher Durchsatz

Verwende ein ComfyUI-Docker-Image oder das Basis-CUDA-Image (wir installieren ComfyUI manuell).

Schritt 2: ComfyUI installieren

# ComfyUI klonen
git clone https://github.com/comfyanonymous/ComfyUI.git /workspace/ComfyUI
cd /workspace/ComfyUI

# Python-Abhängigkeiten installieren
pip install -r requirements.txt

# ComfyUI Manager installieren (für einfache Node-Installation)
cd custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
cd ..

Schritt 3: VBVR-Custom-Nodes über den ComfyUI Manager installieren

ComfyUI starten:

cd /workspace/ComfyUI
python main.py --listen 0.0.0.0 --port 8188

Öffnen http://DEINE_CLORE_IP:8188 in deinem Browser. Dann:

1. Klicken Sie auf Manager Schaltfläche (oberes Menü)

2. Suche nach „Wan 2.2 VBVR“ oder „WanVideo“

3. Installiere das ComfyUI-WanVideo Node-Paket

4. Starte ComfyUI nach der Installation neu

Alternativ kannst du die Nodes direkt installieren:

cd /workspace/ComfyUI/custom_nodes
git clone https://github.com/kijai/ComfyUI-WanVideoWrapper.git
pip install -r ComfyUI-WanVideoWrapper/requirements.txt

Schritt 4: Modell-Checkpoints herunterladen

mkdir -p /workspace/ComfyUI/models/wan

# Wan 2.2 I2V-Basismodell herunterladen (~28 GB)
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \
  --local-dir /workspace/ComfyUI/models/wan/Wan2.2-I2V-A14B

# VBVR-spezifische Motion-Encoder-Gewichte herunterladen (~2 GB)
# Hinweis: VBVR-Gewichte werden als Community-Veröffentlichung über ComfyUI-WanVideoWrapper bereitgestellt.
# Prüfe https://github.com/kijai/ComfyUI-WanVideoWrapper für den aktuellen Download-Pfad.
huggingface-cli download \
  kijai/WanVideo-motion-encoder \
  --local-dir /workspace/ComfyUI/models/wan/vbvr-motion-encoder

Tipp: Verwende huggingface-cli download --include "*.safetensors" um nicht notwendige Dateien zu überspringen und Speicherplatz zu sparen.

Schritt 5: VAE und Text-Encoder herunterladen

# CLIP-Text-Encoder (geteilt mit dem Basis-Wan 2.2)
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \
  --include "xlabs_clip*" \
  --local-dir /workspace/ComfyUI/models/clip

# T5-XXL-Text-Encoder
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \
  --include "t5*" \
  --local-dir /workspace/ComfyUI/models/t5

# VAE
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \
  --include "Wan2.2_VAE.safetensors" \
  --local-dir /workspace/ComfyUI/models/vae

---

Den VBVR-Workflow in ComfyUI erstellen

Workflow-Übersicht

Der VBVR-Workflow verbindet diese Node-Gruppen:

[Bild laden] ──────────────────────────────────┐
                                               ↓
[Referenzvideo laden] → [VBVR Motion Encoder] → [Wan I2V Sampler] → [VAE Decode] → [Video speichern]
                                               ↑
[CLIP Text Encode] ────────────────────────────┘

Workflow laden

1. Lade das vorgefertigte VBVR-Workflow-JSON aus dem ComfyUI-WanVideoWrapper-Repository herunter:

   custom_nodes/ComfyUI-WanVideoWrapper/workflows/wan22_vbvr.json

2. In ComfyUI: Laden → wähle wan22_vbvr.json

Wichtige Nodes konfigurieren

WanVideoModelLoader

• model_path: zeige auf Wan2.2-I2V-A14B

• Präzision: fp8_e4m3fn für RTX 3090, bf16 für RTX 4090+

VBVRMotionEncoderLoader

• encoder_path: zeige auf vbvr-motion-encoder

WanVideoSampler

• Schritte: 25–30 (Qualität), 15–20 (Geschwindigkeit)

• cfg: 6,0–7,5 (höher = stärkerer Prompt-Treue)

• motion_strength: 0,6–0,9 (wie genau der Referenzbewegung gefolgt werden soll)

• Frames: 25 (ca. 2 Sekunden bei 12 fps) oder 49 (4 Sekunden)

• Auflösung: 832×480 (standardmäßig 480p)

LoadVideo (Referenz)

• Lade deinen Referenzbewegungsclip (MP4, GIF oder Bildsequenz)

• Empfohlen: 2–5 Sekunden, ungefähr dieselbe Dauer wie dein Zielausgang

---

Deine erste Generierung ausführen

Bereite deine Eingaben vor

1. Startbild: 832×480px oder ungefähr so. PNG oder JPG. Das ist dein Motiv.

2. Referenzbewegungsvideo: idealerweise 2–5 Sekunden, zeigt die gewünschte Bewegung. Die Auflösung muss nicht übereinstimmen — das Modell extrahiert Bewegungsvektoren, nicht Pixelinhalt.

3. Text-Prompt: beschreibe dein Motiv und was es tut (z. B. „eine Produktflasche, die sich sanft auf einer weißen Oberfläche dreht, kinoreife Beleuchtung, 4K, professionelle Fotografie“)

Empfohlene Einstellungen für den ersten Lauf

Schritte: 25
cfg: 7,0
motion_strength: 0,75
Frames: 25
Seed: 42 (fest für Reproduzierbarkeit)

Geschätzte Generierungszeit

GPU	Variante	Frames	Zeit
RTX 3090	FP8	25 Frames	~3–5 Min.
RTX 4090	BF16	25 Frames	~2–4 Min.
RTX 4090	FP8	25 Frames	~1,5–2,5 Min.
A100 80GB	BF16	49 Frames	~3–5 Min.

---

Praktische Workflows

Charakteranimation

1. Image: Figurenillustration oder Foto

2. Referenz: Aufnahmen eines Schauspielers, der die gewünschte Aktion ausführt (gehen, winken, laufen)

3. Prompt: „Cartoon-Figur, die durch einen Wald geht, sanfte Animation, konsistenter Stil“

4. motion_strength: 0,85 (hohe Treue zur Referenzbewegung)

Produktdemo

1. Image: sauberes Produktfoto auf weißem Hintergrund

2. Referenz: Hand, die ein ähnliches Produkt auspackt oder dreht

3. Prompt: „Premium-Produkt-Enthüllung, 360°-Drehung, weiches Studiolicht, kommerzielle Qualität“

4. motion_strength: 0,70 (etwas kreative Freiheit bei Beleuchtung/Umgebung)

Cinematisches B-Roll-Material

1. Image: Landschaftsfoto oder Gebäudeaußenansicht

2. Referenz: Drohnenaufnahmen oder Kameraschwenk aus einem Stock-Clip

3. Prompt: „cinematisches Luft-B-Roll, goldene Stunde, sanfte Drohnenbewegung, 4K-Qualität“

4. motion_strength: 0,65 (dem Modell natürliche Bewegung hinzufügen lassen)

---

Fehlerbehebung

Speicher voll auf RTX 3090 mit BF16

• Wechsle in WanVideoModelLoader auf FP8-Quantisierung

• Reduziere die Frames von 25 auf 17

• Deaktiviere VAE-Tiling, falls aktiviert

Die Bewegung stimmt nicht mit dem Referenzvideo überein

• Erhöhen Sie motion_strength auf 0,85–0,95

• Stelle sicher, dass das Referenzvideo auf die Ziel-Dauer zugeschnitten ist

• Verwende Referenzvideos mit klarer, eindeutiger Bewegung (Kamerawackeln vermeiden)

Generiertes Video flackert oder hat Artefakte

• Erhöhe die Schritte auf 30

• Reduziere CFG auf 6,0

• Verwende ein Referenzvideo mit gleichmäßiger Beleuchtung

Langsamer Download / HuggingFace-Timeout

• Verwende HF_ENDPOINT=https://hf-mirror.com Umgebungsvariable für schnellere Downloads aus China

• Oder herunterladen via aria2c mit mehreren Verbindungen

---

Was kommt als Nächstes: Wan 2.7

Alibabas Wan 2.7 ist die nächste Generation der Wan-Video-Modellfamilie und bietet:

• Generierung von erstem und letztem Frame: gib sowohl den ersten als auch den letzten Frame an

• Video-zu-Video-Bearbeitung: vorhandenes Video mit Textanweisungen verändern

• Motiv-Referenzierung: konsistentes Aussehen bestimmter Objekte/Figuren über Szenen hinweg beibehalten

Wan 2.7 ist derzeit über die API von Together AI verfügbar. Open-Source-Gewichte werden Mitte des zweiten Quartals 2026 erwartet. Eine vollständige Self-Hosting-Anleitung wird diesem Repository hinzugefügt, sobald die Gewichte veröffentlicht werden.

---

Zusammenfassung

Wan 2.2 VBVR bringt referenzgesteuerte Bewegungssteuerung in die Open-Source-Videoerzeugung. Liefere ein Startbild und einen Referenzbewegungsclip, und das Modell erzeugt ein konsistentes Video, in dem dein Motiv dieser Bewegung natürlich folgt. FP8 läuft auf einer 24-GB-RTX-3090 für 0,07–0,21 $/Std.; BF16 auf einer RTX 4090 für 0,14–0,42 $/Std. — beide auf Clore.ai.

→ Miete eine GPU auf Clore.ai und beginne noch heute damit, bewegungsgesteuerte Videos zu erzeugen.