Wan 2.2 VBVR (मोशन कंट्रोल)

Wan 2.2 VBVR (वीडियो-आधारित वीडियो संदर्भ) Alibaba का अप्रैल 2026 में Wan 2.2 इमेज-टू-वीडियो फाउंडेशन मॉडल का विस्तार है। यह एक शक्तिशाली नई क्षमता जोड़ता है: आप एक संदर्भ वीडियो क्लिप का उपयोग अपनी जनरेट की गई वीडियो में गति पैटर्न को नियंत्रित करने के लिए करते हैं, न कि केवल एक शुरुआती छवि के लिए। परिणाम एक सुसंगत, नियंत्रित एनीमेशन है — वही चरित्र, उत्पाद या दृश्य आपके संदर्भ फुटेज से गति पथ का अनुसरण करता है।

यह गाइड Clore.ai GPU रेंटल पर ComfyUI के माध्यम से Wan 2.2 VBVR को डिप्लॉय करना कवर करती है।

---

VBVR (Video-Based Video Reference) क्या है?

पारंपरिक इमेज-टू-वीडियो मॉडल एक स्थिर छवि लेते हैं और शुरू से गति उत्पन्न करते हैं। गति आपके टेक्स्ट प्रॉम्प्ट द्वारा निर्देशित होती है, लेकिन यह अप्रत्याशित हो सकती है — खासकर विशिष्ट इशारों, कैमरा मूव्स या चरित्र की गतिविधियों के लिए।

VBVR समीकरण बदल देता है: आप प्रदान करते हैं:

1. एक शुरुआती छवि — आपका विषय (चरित्र, उत्पाद, दृश्य)

2. एक संदर्भ गति वीडियो — एक छोटा क्लिप जो आपकी इच्छित गति दिखाता है

3. एक टेक्स्ट प्रॉम्प्ट — सामग्री और शैली का वर्णन

मॉडल संदर्भ वीडियो से गति पैटर्न निकालता है और उसे आपकी शुरुआती छवि पर लागू करता है, जिससे एक नया वीडियो बनता है जिसमें आपका विषय उस गति को स्वाभाविक रूप से करता है।

उदाहरण उपयोग

इनपुट छवि	संदर्भ वीडियो गति	आउटपुट
उत्पाद फोटो	हाथ द्वारा समान वस्तु उठाना	उत्पाद उठाने का एनीमेशन
चरित्र चित्रण	अभिनेता का चलने का चक्र	चरित्र का चलना
फैशन मॉडल	रनवे वॉक फुटेज	गतिमान वस्त्र
इमारत का बाहरी भाग	ड्रोन फुटेज से कैमरा पैन	सिनेमैटिक B-roll रिवील

---

मॉडल अवलोकन

• पूरा नाम: Wan 2.2 I2V-A14B with VBVR (वीडियो-आधारित वीडियो संदर्भ)

• जारी किया गया: अप्रैल 2026 में Alibaba / Wan-AI टीम द्वारा

• इस पर आधारित: Wan 2.2 I2V-A14B (इमेज-टू-वीडियो, 14B पैरामीटर, अधिकतम 480p रिज़ॉल्यूशन)

• HuggingFace: Wan-AI/Wan2.2-I2V-A14B

• VBVR वर्कफ़्लो: ComfyUI Manager कम्युनिटी नोड्स के माध्यम से वितरित

• लाइसेंस: Apache 2.0

वैरिएंट्स

वैरिएंट	आवश्यक VRAM	गुणवत्ता	गति
FP8	16–24 GB	उच्च	तेज़
BF16	24–40 GB	सर्वोच्च	मध्यम

यह FP8 वैरिएंट RTX 3090 (24 GB) पर चलता है और कम बैच साइज़ के साथ 16 GB कार्ड्स में भी समा सकता है। BF16 वैरिएंट सबसे अच्छी गुणवत्ता देता है और RTX 4090 (24 GB) या A6000 (48 GB) पर आराम से चलता है।

---

हार्डवेयर आवश्यकताएँ

GPU	VRAM	वैरिएंट	Clore.ai पर कीमत
RTX 3090	24 GB	FP8 ✅	$0.07–0.21/hr
RTX 4090	24 GB	FP8 ✅ / BF16 ✅	$0.14–0.42/hr
A6000 48GB	48 GB	BF16 ✅	$0.35–0.38/घंटा
A100 80GB	80 GB	BF16 ✅	bare metal

अधिकांश उपयोगकर्ताओं के लिए, एक $0.14–0.42/घंटा पर RTX 4090 कीमत और गुणवत्ता का सबसे अच्छा संतुलन है, जो BF16 को पूर्ण 480p रिज़ॉल्यूशन पर चलाता है।

---

Clore.ai पर चरण-दर-चरण सेटअप

चरण 1: GPU किराए पर लें

विज़िट करें clore.ai/marketplace:

• बजट: RTX 3090 ($0.07–0.21/घंटा) — केवल FP8

• अनुशंसित: RTX 4090 ($0.14–0.42/घंटा) — BF16 गुणवत्ता

• प्रीमियम: A6000 ($0.35–0.38/घंटा) — बैच प्रोसेसिंग, उच्च थ्रूपुट

एक ComfyUI Docker इमेज या बेस CUDA इमेज का उपयोग करें (हम ComfyUI को मैन्युअली इंस्टॉल करेंगे)।

चरण 2: ComfyUI इंस्टॉल करें

# ComfyUI क्लोन करें
git clone https://github.com/comfyanonymous/ComfyUI.git /workspace/ComfyUI
cd /workspace/ComfyUI

# Python dependencies इंस्टॉल करें
pip install -r requirements.txt

# ComfyUI Manager इंस्टॉल करें (आसान नोड इंस्टॉलेशन के लिए)
cd custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
cd ..

चरण 3: ComfyUI Manager के माध्यम से VBVR कस्टम नोड्स इंस्टॉल करें

ComfyUI शुरू करें:

cd /workspace/ComfyUI
python main.py --listen 0.0.0.0 --port 8188

खोलें http://YOUR_CLORE_IP:8188 अपने ब्राउज़र में। फिर:

1. क्लिक करें मैनेजर बटन (टॉप मेनू)

2. खोजें "Wan 2.2 VBVR" या "WanVideo"

3. इंस्टॉल करें ComfyUI-WanVideo नोड पैक

4. इंस्टॉलेशन के बाद ComfyUI रीस्टार्ट करें

वैकल्पिक रूप से, नोड्स सीधे इंस्टॉल करें:

cd /workspace/ComfyUI/custom_nodes
git clone https://github.com/kijai/ComfyUI-WanVideoWrapper.git
pip install -r ComfyUI-WanVideoWrapper/requirements.txt

चरण 4: मॉडल चेकपॉइंट डाउनलोड करें

mkdir -p /workspace/ComfyUI/models/wan

# Wan 2.2 I2V बेस मॉडल डाउनलोड करें (~28GB)
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \\
  --local-dir /workspace/ComfyUI/models/wan/Wan2.2-I2V-A14B

# VBVR-विशिष्ट मोशन एन्कोडर वज़न डाउनलोड करें (~2GB)
# नोट: VBVR वज़न ComfyUI-WanVideoWrapper कम्युनिटी रिलीज़ के रूप में वितरित किए जाते हैं।
# वर्तमान डाउनलोड पथ के लिए https://github.com/kijai/ComfyUI-WanVideoWrapper देखें।
huggingface-cli download \
  kijai/WanVideo-motion-encoder \\
  --local-dir /workspace/ComfyUI/models/wan/vbvr-motion-encoder

सुझाव: उपयोग करें huggingface-cli download --include "*.safetensors" ताकि गैर-ज़रूरी फ़ाइलें छोड़ी जा सकें और डिस्क स्थान बचाया जा सके।

चरण 5: VAE और टेक्स्ट एन्कोडर डाउनलोड करें

# CLIP टेक्स्ट एन्कोडर (बेस Wan 2.2 के साथ साझा)
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \\
  --include "xlabs_clip*" \\
  --local-dir /workspace/ComfyUI/models/clip

# T5 XXL टेक्स्ट एन्कोडर
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \\
  --include "t5*" \\
  --local-dir /workspace/ComfyUI/models/t5

# VAE
huggingface-cli download \
  Wan-AI/Wan2.2-I2V-A14B \\
  --include "Wan2.2_VAE.safetensors" \\
  --local-dir /workspace/ComfyUI/models/vae

---

ComfyUI में VBVR वर्कफ़्लो बनाना

वर्कफ़्लो अवलोकन

VBVR वर्कफ़्लो इन नोड समूहों को जोड़ता है:

[Load Image] ──────────────────────────────────┐
                                               ↓
[Load Reference Video] → [VBVR Motion Encoder] → [Wan I2V Sampler] → [VAE Decode] → [Save Video]
                                               ↑
[CLIP Text Encode] ────────────────────────────┘

वर्कफ़्लो लोड करना

1. ComfyUI-WanVideoWrapper रिपॉजिटरी से पहले से बना हुआ VBVR वर्कफ़्लो JSON डाउनलोड करें:

   custom_nodes/ComfyUI-WanVideoWrapper/workflows/wan22_vbvr.json

2. ComfyUI में: लोड करें → चुनें wan22_vbvr.json

मुख्य नोड्स कॉन्फ़िगर करना

WanVideoModelLoader

• model_path: इंगित करें Wan2.2-I2V-A14B

• precision: fp8_e4m3fn RTX 3090 के लिए, bf16 RTX 4090+ के लिए

VBVRMotionEncoderLoader

• encoder_path: इंगित करें vbvr-motion-encoder

WanVideoSampler

• steps: 25–30 (गुणवत्ता), 15–20 (गति)

• cfg: 6.0–7.5 (अधिक = प्रॉम्प्ट का अधिक पालन)

• motion_strength: 0.6–0.9 (संदर्भ गति का कितना बारीकी से पालन करना है)

• frames: 25 (लगभग 12fps पर 2 सेकंड) या 49 (4 सेकंड)

• resolution: 832×480 (डिफ़ॉल्ट 480p)

LoadVideo (संदर्भ)

• अपनी संदर्भ गति क्लिप (MP4, GIF, या इमेज सीक्वेंस) लोड करें

• अनुशंसित: 2–5 सेकंड, आपके लक्ष्य आउटपुट के लगभग समान अवधि

---

अपनी पहली जनरेशन चलाना

अपने इनपुट तैयार करें

1. शुरुआती छवि: 832×480px या लगभग इतना। PNG या JPG। यह आपका विषय है।

2. संदर्भ गति वीडियो: आदर्श रूप से 2–5 सेकंड, जिसमें आपकी इच्छित गति दिखती हो। रिज़ॉल्यूशन का मेल होना ज़रूरी नहीं — मॉडल गति वेक्टर निकालता है, पिक्सेल सामग्री नहीं।

3. टेक्स्ट प्रॉम्प्ट: अपने विषय और वह क्या कर रहा है, इसका वर्णन करें (उदाहरण के लिए, "एक उत्पाद बोतल सफेद सतह पर स्मूदली घूम रही है, सिनेमैटिक लाइटिंग, 4K, प्रोफेशनल फोटोग्राफी")

पहले रन के लिए अनुशंसित सेटिंग्स

steps: 25
cfg: 7.0
motion_strength: 0.75
frames: 25
seed: 42 (पुनरुत्पादन के लिए निश्चित)

जनरेशन समय का अनुमान

GPU	वैरिएंट	फ्रेम	समय
RTX 3090	FP8	25 फ्रेम	~3–5 मिनट
RTX 4090	BF16	25 फ्रेम	~2–4 मिनट
RTX 4090	FP8	25 फ्रेम	~1.5–2.5 मिनट
A100 80GB	BF16	49 फ्रेम	~3–5 मिनट

---

व्यावहारिक वर्कफ़्लो

चरित्र एनीमेशन

1. इमेज: चरित्र चित्रण या फोटो

2. संदर्भ: इच्छित क्रिया करते हुए अभिनेता की फुटेज (चलना, हाथ हिलाना, दौड़ना)

3. प्रॉम्प्ट: "जंगल में चलते हुए कार्टून चरित्र, स्मूद एनीमेशन, सुसंगत शैली"

4. motion_strength: 0.85 (संदर्भ गति के प्रति उच्च निष्ठा)

उत्पाद डेमो

1. इमेज: सफेद पृष्ठभूमि पर साफ-सुथरा उत्पाद शॉट

2. संदर्भ: हाथ से अनबॉक्सिंग या समान उत्पाद को घुमाना

3. प्रॉम्प्ट: "प्रीमियम उत्पाद रिवील, 360 रोटेशन, सॉफ्ट स्टूडियो लाइटिंग, व्यावसायिक गुणवत्ता"

4. motion_strength: 0.70 (प्रकाश/परिवेश के लिए कुछ रचनात्मक स्वतंत्रता)

सिनेमैटिक B-Roll

1. इमेज: लैंडस्केप फोटो या इमारत का बाहरी भाग

2. संदर्भ: ड्रोन फुटेज या स्टॉक क्लिप से कैमरा पैन

3. प्रॉम्प्ट: "एरियल सिनेमैटिक B-roll, गोल्डन आवर, स्मूद ड्रोन मूवमेंट, 4K गुणवत्ता"

4. motion_strength: 0.65 (मॉडल को प्राकृतिक गति जोड़ने दें)

---

समस्या निवारण

BF16 के साथ RTX 3090 पर मेमोरी कम पड़ना

• WanVideoModelLoader में FP8 क्वांटाइज़ेशन पर स्विच करें

• फ्रेम्स को 25 से घटाकर 17 करें

• यदि सक्षम है तो VAE टाइलिंग अक्षम करें

गति संदर्भ वीडियो से मेल नहीं खाती

• बढ़ाएँ motion_strength को 0.85–0.95

• सुनिश्चित करें कि संदर्भ वीडियो को आपके लक्ष्य अवधि से मेल खाने के लिए ट्रिम किया गया है

• स्पष्ट, असंदिग्ध गति वाले संदर्भ वीडियो उपयोग करें (कैमरा शेक से बचें)

जनरेट किया गया वीडियो झिलमिलाता है या उसमें आर्टिफैक्ट्स हैं

• steps को 30 तक बढ़ाएँ

• CFG को 6.0 तक घटाएँ

• सुसंगत लाइटिंग वाले संदर्भ वीडियो उपयोग करें

धीमा डाउनलोड / HuggingFace टाइमआउट

• उपयोग करें HF_ENDPOINT=https://hf-mirror.com चीन से तेज़ डाउनलोड के लिए पर्यावरण चर

• या डाउनलोड करें aria2c कई कनेक्शनों के साथ

---

आगे क्या: Wan 2.7

अलीबाबा का Wan 2.7 Wan वीडियो मॉडल परिवार की अगली पीढ़ी है, जिसमें शामिल हैं:

• पहला + अंतिम फ्रेम जनरेशन: शुरुआती और अंतिम दोनों फ्रेम निर्दिष्ट करें

• वीडियो-टू-वीडियो संपादन: टेक्स्ट निर्देशों से मौजूदा वीडियो संशोधित करें

• विषय संदर्भ: दृश्यों में विशिष्ट वस्तुओं/चरित्रों की सुसंगत उपस्थिति बनाए रखें

Wan 2.7 फिलहाल Together AI के API के माध्यम से उपलब्ध है। ओपन-सोर्स वज़न mid-Q2 2026 में अपेक्षित हैं। जब वज़न जारी होंगे, तो इस रिपॉजिटरी में एक पूर्ण self-hosting गाइड जोड़ा जाएगा।

---

सारांश

Wan 2.2 VBVR ओपन-सोर्स वीडियो जनरेशन में संदर्भ-चालित गति नियंत्रण लाता है। एक शुरुआती छवि और एक संदर्भ गति क्लिप दें, और मॉडल एक सुसंगत वीडियो जनरेट करता है जिसमें आपका विषय उस गति का स्वाभाविक रूप से अनुसरण करता है। FP8 24 GB RTX 3090 पर $0.07–0.21/घंटा पर चलता है; BF16 RTX 4090 पर $0.14–0.42/घंटा पर — दोनों Clore.ai पर।

→ Clore.ai पर GPU किराए पर लें और आज ही गति-नियंत्रित वीडियो बनाना शुरू करें।