SkyReels-V3

Создавайте видео 24fps с SkyReels-V3, open video model Kunlun на базе Wan2.1, на GPU Clore.ai.

SkyReels-V3 — это модель генерации видео с открытым исходным кодом от Kunlun (SkyWork AI), построенная поверх видеoархитектуры Wan2.1. Она генерирует плавные клипы с частотой 24 кадра/с и поддерживает как text-to-video (T2V), так и image-to-video (I2V). Модель наследует сильную согласованность движения и временную стабильность Wan2.1, а также включает доработки обучения SkyWork для улучшения визуального качества и точности следования запросу.

Запуск SkyReels-V3 на Clore.ai позволяет вам получить доступ к необходимым ей 24 ГБ VRAM без покупки оборудования — арендуйте RTX 4090 за несколько долларов и начинайте генерацию.

Ключевые особенности

• Вывод 24 кадра/с — плавная частота кадров вещательного качества из коробки.

• Текст-в-видео — генерируйте клипы из описаний на естественном языке с хорошим следованием запросу.

• Изображение в видео — анимируйте эталонное изображение с управляемым движением камеры и объекта.

• Построен на Wan2.1 — наследует проверенное временное внимание и моделирование движения архитектуры Wan.

• Мультиразрешение — поддерживает генерацию в 480p и 720p в зависимости от бюджета VRAM.

• Открытые веса — доступен по открытой лицензии для научного и коммерческого использования.

• Китайский + английский — двуязычная поддержка запросов от текстового энкодера Wan2.1.

Требования

Компонент	Минимум	Рекомендуется
VRAM GPU	16 ГБ (480p с выгрузкой)	24 ГБ
Системная RAM	32 ГБ	64 ГБ
Диск	25 ГБ	50 ГБ
Python	3.10+	3.11
CUDA	12.8+	12.8+

Рекомендация по GPU от Clore.ai: Один RTX 4090 (24 ГБ, $0.14–0.42/ч) — это оптимальный вариант: достаточно VRAM для генерации 720p в полной точности. Один RTX 3090 (24 ГБ, $0.07–0.21/ч) подходит для 480p и предлагает лучшее соотношение цены к клипу на маркетплейсе.

Быстрый старт

# Установите основные зависимости
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install diffusers transformers accelerate sentencepiece
pip install imageio[ffmpeg]

# Проверить GPU
python -c "import torch; print(torch.cuda.get_device_name(0))"

Примеры использования

Текст-в-видео

import torch
from diffusers import WanPipeline
from diffusers.utils import export_to_video

# SkyReels-V3 использует архитектуру конвейера Wan2.1
pipe = WanPipeline.from_pretrained(
    "SkyworkAI/SkyReels-V3-T2V",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()

prompt = (
    "Самурай идет через бамбуковый лес в утреннем тумане, "
    "солнечный свет пробивается сквозь высокие стебли, кинематографичная композиция, "
    "медленное, размеренное движение"
)

video_frames = pipe(
    prompt=prompt,
    negative_prompt="размыто, низкое качество, водяной знак, статичный",
    num_frames=97,               # ~4 сек при 24 кадрах/с
    width=1280,
    height=720,
    num_inference_steps=30,
    guidance_scale=5.0,
    generator=torch.Generator("cuda").manual_seed(42),
).frames[0]

export_to_video(video_frames, "samurai_forest.mp4", fps=24)
print("Сохранено samurai_forest.mp4")

Изображение в видео

import torch
from PIL import Image
from diffusers import WanImageToVideoPipeline
from diffusers.utils import export_to_video

pipe = WanImageToVideoPipeline.from_pretrained(
    "SkyworkAI/SkyReels-V3-I2V",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()

image = Image.open("landscape.png").resize((1280, 720))

video_frames = pipe(
    prompt="Камера медленно движется вперед в сцену, облака плывут над головой",
    image=image,
    negative_prompt="статичность, дрожание, размытость",
    num_frames=97,
    num_inference_steps=30,
    guidance_scale=5.0,
).frames[0]

export_to_video(video_frames, "landscape_anim.mp4", fps=24)

Быстрый предварительный просмотр в пониженном разрешении

import torch
from diffusers import WanPipeline
from diffusers.utils import export_to_video

pipe = WanPipeline.from_pretrained(
    "SkyworkAI/SkyReels-V3-T2V", torch_dtype=torch.bfloat16
).to("cuda")

# 480p для быстрой итерации
frames = pipe(
    prompt="Океанские волны разбиваются о скалы, драматичные брызги, закат",
    num_frames=49,
    width=854,
    height=480,
    num_inference_steps=20,
    guidance_scale=5.0,
).frames[0]

export_to_video(frames, "waves_preview.mp4", fps=24)

Советы для пользователей Clore.ai

1. Используйте классы конвейера Wan — SkyReels-V3 архитектурно основан на Wan2.1, поэтому использует WanPipeline / WanImageToVideoPipeline из diffusers.

2. Начните с 480p — сначала итеративно отрабатывайте запросы в более низком разрешении, а затем генерируйте финальные клипы в 720p, когда будете довольны композицией.

3. Выгрузка на CPU — enable_model_cpu_offload() рекомендуется на картах с 24 ГБ для генерации 720p, чтобы избежать OOM.

4. Постоянное хранилище — задайте HF_HOME=/workspace/hf_cache на постоянном томе Clore.ai; модель весит ~15–20 ГБ.

5. Нативные 24 кадра/с — не меняйте fps при экспорте; временное внимание модели обучалось для вывода 24 кадра/с.

6. Двуязычные запросы — текстовый энкодер Wan2.1 поддерживает и английский, и китайский; при необходимости можно смешивать языки.

7. Шкала guidance — лучше всего работают значения 4.0–6.0. Более высокие значения (>8) могут вызвать перенасыщение.

8. tmux обязателен — всегда запускайте генерацию в tmux сессии на Clore.ai, чтобы пережить разрывы SSH-соединения.

Устранение неполадок

Проблема	Исправьте
OutOfMemoryError при 720p	Включите pipe.enable_model_cpu_offload(); понизьте до 480p, если OOM все еще возникает
Модель не найдена на HuggingFace	Проверьте точное имя репозитория на странице HuggingFace SkyworkAI — она может быть указана под вариантом названия
Дёрганое или мерцающее движение	Увеличьте num_inference_steps до 40; уменьшите guidance_scale до 4.0
Медленная генерация	~1–3 мин на 4-секундный клип на RTX 4090 — это нормально для 720p; 480p примерно в 2 раза быстрее
Смещение цветов / перенасыщение	Уменьшите guidance_scale до 4.0–5.0
ImportError: imageio	pip install imageio[ffmpeg]
Веса повторно загружаются при перезапуске	Подключите постоянное хранилище и задайте HF_HOME переменную окружения