Генерация видео с помощью ИИ

Генерируйте видео с SVD, AnimateDiff и другими на Clore.ai

Генерируйте видео с помощью Stable Video Diffusion, AnimateDiff и других моделей.

Все примеры можно запускать на GPU-серверах, арендуемых через CLORE.AI Marketplace.

Аренда на CLORE.AI

Посетите CLORE.AI Marketplace
Отфильтруйте по типу GPU, объему VRAM и цене
Выберите On-Demand (фиксированная ставка) или Spot (цена по ставке)
Настройте ваш заказ:
- Выберите Docker-образ
- Установите порты (TCP для SSH, HTTP для веб-интерфейсов)
- Добавьте переменные окружения при необходимости
- Введите команду запуска
Выберите способ оплаты: CLORE, BTC, или USDT/USDC
Создайте заказ и дождитесь развертывания

Доступ к вашему серверу

Найдите данные для подключения в Моих заказах
Веб-интерфейсы: используйте URL HTTP-порта
SSH: ssh -p <port> root@<proxy-address>

Доступные модели

Модель

Тип

VRAM

Длительность

SVD

Изображение в видео

16GB

4 секунды

SVD-XT

Изображение в видео

20 ГБ

4 секунды

AnimateDiff

Текст в видео

12GB

2–4 секунды

CogVideoX

Текст в видео

24 ГБ

6 секунд

Stable Video Diffusion (SVD)

Быстрое развертывание

Docker-образ:

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

Порты:

22/tcp
7860/http

Команда:

pip install diffusers transformers accelerate gradio imageio && \
python svd_server.py

Доступ к вашему сервису

После развертывания найдите ваш http_pub URL в Моих заказах:

Перейдите на Моих заказах страницу
Нажмите на ваш заказ
Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Скрипт SVD

import torch
from diffusers import StableVideoDiffusionPipeline
from PIL import Image
import imageio

# Загрузить модель
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    torch_dtype=torch.float16,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()

# Загрузить и изменить размер изображения
image = Image.open("input.png").resize((1024, 576))

# Сгенерировать видео
frames = pipe(
    image,
    decode_chunk_size=8,
    num_frames=25,
    motion_bucket_id=127,
    noise_aug_strength=0.02
).frames[0]

# Сохранить как GIF
imageio.mimsave("output.gif", frames, fps=6)

# Сохранить как MP4
imageio.mimsave("output.mp4", frames, fps=6)

SVD с интерфейсом Gradio

import gradio as gr
import torch
from diffusers import StableVideoDiffusionPipeline
from PIL import Image
import imageio
import tempfile

pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    torch_dtype=torch.float16,
)
pipe.enable_model_cpu_offload()

def generate_video(image, motion_bucket, fps, num_frames):
    image = image.resize((1024, 576))

    frames = pipe(
        image,
        decode_chunk_size=4,
        num_frames=num_frames,
        motion_bucket_id=motion_bucket,
    ).frames[0]

    with tempfile.NamedTemporaryFile(suffix=".mp4", delete=False) as f:
        imageio.mimsave(f.name, frames, fps=fps)
        return f.name

demo = gr.Interface(
    fn=generate_video,
    inputs=[
        gr.Image(type="pil", label="Входное изображение"),
        gr.Slider(1, 255, value=127, label="Amount of Motion"),
        gr.Slider(1, 30, value=6, label="FPS"),
        gr.Slider(14, 25, value=25, label="Кадры")
    ],
    outputs=gr.Video(label="Сгенерированное видео"),
)

demo.launch(server_name="0.0.0.0", server_port=7860)

AnimateDiff

Установка

pip install diffusers transformers accelerate

Генерация видео из текста

import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, DDIMScheduler
import imageio

# Загрузить motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")

# Загрузить pipeline
pipe = AnimateDiffPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    motion_adapter=adapter,
    torch_dtype=torch.float16,
)
pipe.scheduler = DDIMScheduler.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()

# Генерация
output = pipe(
    prompt="Кот, гуляющий по саду, красивые цветы, солнечный день",
    negative_prompt="плохое качество, размытость",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
)

# Сохранить
frames = output.frames[0]
imageio.mimsave("animatediff.gif", frames, fps=8)

AnimateDiff с пользовательской моделью

from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler

adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")

# Использовать собственный чекпойнт (например, RealisticVision)
pipe = AnimateDiffPipeline.from_pretrained(
    "SG161222/Realistic_Vision_V5.1_noVAE",
    motion_adapter=adapter,
    torch_dtype=torch.float16,
)

AnimateDiff в ComfyUI

Установить узлы

cd /workspace/ComfyUI/custom_nodes
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git
git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git

Скачать motion-модели

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models
wget https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt

CogVideoX

Текст в видео

import torch
from diffusers import CogVideoXPipeline
import imageio

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-2b",
    torch_dtype=torch.float16
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()

prompt = "Дрон летит над красивым горным пейзажем на закате"

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
).frames[0]

imageio.mimsave("cogvideo.mp4", video, fps=8)

Повышение разрешения видео

Real-ESRGAN для видео

import cv2
import torch
from basicsr.archs.rrdbnet_arch import RRDBNet
from realesrgan import RealESRGANer

model = RRDBNet(num_in_ch=3, num_out_ch=3, num_feat=64, num_block=23, num_grow_ch=32, scale=4)
upsampler = RealESRGANer(
    scale=4,
    model_path='RealESRGAN_x4plus.pth',
    model=model,
    tile=400,
    tile_pad=10,
    pre_pad=0,
    half=True
)

# Обрабатывать видео кадр за кадром
cap = cv2.VideoCapture("input.mp4")

# ... повышать разрешение каждого кадра

Интерполяция (плавные видео)

FILM Frame Interpolation


# Установить
pip install tensorflow tensorflow_hub

import tensorflow as tf
import tensorflow_hub as hub

model = hub.load("https://tfhub.dev/google/film/1")

def interpolate(frame1, frame2, num_interpolations=3):
    # Возвращает интерполированные кадры между frame1 и frame2
    ...

RIFE (в реальном времени)

pip install rife-ncnn-vulkan-python

from rife_ncnn_vulkan import Rife
rife = Rife(gpu_id=0)

# Интерполировать кадры

Пактовая генерация видео

prompts = [
    "Ракета, запускающаяся в космос",
    "Океанские волны бьются о скалы",
    "Бабочка, летящая среди цветов",
]

for i, prompt in enumerate(prompts):
    print(f"Generating {i+1}/{len(prompts)}")
    output = pipe(prompt, num_frames=16)
    imageio.mimsave(f"video_{i:03d}.mp4", output.frames[0], fps=8)

Советы по памяти

Для ограниченной видеопамяти (VRAM)


# Включить выгрузку на CPU
pipe.enable_model_cpu_offload()

# Включить нарезку VAE
pipe.enable_vae_slicing()

# Включить нарезку внимания
pipe.enable_attention_slicing()

# Уменьшить количество кадров
num_frames = 14  # Вместо 25

Декодирование по частям

frames = pipe(
    image,
    decode_chunk_size=2,  # Декодировать по 2 кадра за раз
    num_frames=25,
).frames[0]

Преобразование вывода

GIF в MP4

ffmpeg -i input.gif -movflags faststart -pix_fmt yuv420p -vf "scale=trunc(iw/2)*2:trunc(ih/2)*2" output.mp4

Последовательность кадров в видео

ffmpeg -framerate 8 -i frame_%04d.png -c:v libx264 -pix_fmt yuv420p output.mp4

Добавить аудио

ffmpeg -i video.mp4 -i audio.mp3 -c:v copy -c:a aac -shortest output_with_audio.mp4

Производительность

Модель

GPU

Кадры

Время

SVD-XT

RTX 3090

~120 с

SVD-XT

RTX 4090

~80 с

SVD-XT

A100

~50 с

AnimateDiff

RTX 3090

~30с

CogVideoX

A100

~180 с

Оценка стоимости

Типичные ставки на маркетплейсе CLORE.AI (по состоянию на 2024):

GPU

Почасовая ставка

Дневная ставка

Сессия 4 часа

RTX 3060

~$0.03

~$0.70

~$0.12

RTX 3090

~$0.06

~$1.50

~$0.25

RTX 4090

~$0.10

~$2.30

~$0.40

A100 40GB

~$0.17

~$4.00

~$0.70

A100 80GB

~$0.25

~$6.00

~$1.00

Цены варьируются в зависимости от провайдера и спроса. Проверьте CLORE.AI Marketplace для текущих тарифов.

Экономьте деньги:

Используйте Spot рынок для гибких рабочих нагрузок (часто на 30–50% дешевле)
Платите с помощью CLORE токенов
Сравнивайте цены у разных провайдеров

Устранение неполадок

Ошибка OOM

Уменьшить num_frames
Включить выгрузку на CPU
Использовать меньший decode_chunk_size

Мерцающее видео

Увеличить num_inference_steps
Попробовать другой motion_bucket_id
Использовать интерполяцию кадров

Плохое качество

Использовать вход с более высоким разрешением (SVD)
Лучшие подсказки (AnimateDiff)
Увеличить guidance_scale

ПредыдущаяStable Video Diffusion СледующаяWan2.1 Video

Последнее обновление 1 день назад

Это было полезно?

hashtagАренда на CLORE.AI

hashtagДоступ к вашему серверу

hashtagДоступные модели

hashtagStable Video Diffusion (SVD)

hashtagБыстрое развертывание

hashtagДоступ к вашему сервису

hashtagСкрипт SVD

hashtagSVD с интерфейсом Gradio

hashtagAnimateDiff

hashtagУстановка

hashtagГенерация видео из текста

hashtagAnimateDiff с пользовательской моделью

hashtagAnimateDiff в ComfyUI

hashtagУстановить узлы

hashtagСкачать motion-модели

hashtagCogVideoX

hashtagТекст в видео

hashtagПовышение разрешения видео

hashtagReal-ESRGAN для видео

hashtagИнтерполяция (плавные видео)

hashtagFILM Frame Interpolation

hashtagRIFE (в реальном времени)

hashtagПактовая генерация видео

hashtagСоветы по памяти

hashtagДля ограниченной видеопамяти (VRAM)

hashtagДекодирование по частям

hashtagПреобразование вывода

hashtagGIF в MP4

hashtagПоследовательность кадров в видео

hashtagДобавить аудио

hashtagПроизводительность

hashtagОценка стоимости

hashtagУстранение неполадок

hashtagОшибка OOM

hashtagМерцающее видео

hashtagПлохое качество

Аренда на CLORE.AI

Доступ к вашему серверу

Доступные модели

Stable Video Diffusion (SVD)

Быстрое развертывание

Доступ к вашему сервису

Скрипт SVD

SVD с интерфейсом Gradio

AnimateDiff

Установка

Генерация видео из текста

AnimateDiff с пользовательской моделью

AnimateDiff в ComfyUI

Установить узлы

Скачать motion-модели

CogVideoX

Текст в видео

Повышение разрешения видео

Real-ESRGAN для видео

Интерполяция (плавные видео)

FILM Frame Interpolation

RIFE (в реальном времени)

Пактовая генерация видео

Советы по памяти

Для ограниченной видеопамяти (VRAM)

Декодирование по частям

Преобразование вывода

GIF в MP4

Последовательность кадров в видео

Добавить аудио

Производительность

Оценка стоимости

Устранение неполадок

Ошибка OOM

Мерцающее видео

Плохое качество