Stable Video Diffusion

在 Clore.ai 上使用 Stable Video Diffusion 从图像生成视频

有更新的替代方案可用！ 考虑 FramePack （仅 6GB 显存！）， Wan2.1 （更高质量），或 LTX-2 （带原生音频的视频）。

使用 Stability AI 的 SVD 模型从图片生成视频。

所有示例都可以在通过以下方式租用的 GPU 服务器上运行： CLORE.AI 市场.

什么是 Stable Video Diffusion？

SVD（Stable Video Diffusion）从单张图像生成短视频片段：

• 14 帧或 25 帧输出

• 576x1024 分辨率

• 平滑的运动生成

• 开源权重

资源

• HuggingFace： stabilityai/stable-video-diffusion-img2vid-xt

• GitHub： Stability-AI/generative-models

• 论文： SVD 论文

硬件要求

A100	显存	推荐 GPU
SVD（14 帧）	16GB	512x512
SVD-XT（25 帧）	24GB	RTX 4090 / A100

快速部署

Docker 镜像：

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

端口：

22/tcp
7860/http

命令：

pip install diffusers transformers accelerate && \
pip install gradio && \
python -c "
print(f"已生成：{name}")
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import export_to_video
import torch

pipe = StableVideoDiffusionPipeline.from_pretrained(
    'stabilityai/stable-video-diffusion-img2vid-xt',
    torch_dtype=torch.float16,
    variant='fp16'
).to('cuda')

def generate(image, seed, fps):
    generator = torch.manual_seed(seed)
    frames = pipe(image, num_frames=25, generator=generator).frames[0]
    export_to_video(frames, 'output.mp4', fps=fps)
    return 'output.mp4'

gr.Interface(
    fn=generate,
    inputs=[gr.Image(type='pil'), gr.Number(value=42, label='Seed'), gr.Slider(6, 30, value=7, label='FPS')],
    outputs=gr.Video(),
    title='Stable Video Diffusion'
).launch(server_name='0.0.0.0', server_port=7860)
"

访问您的服务

部署后，在以下位置查找您的 http_pub URL： 我的订单:

1. 前往 我的订单 页面

2. 单击您的订单

3. 查找 http_pub URL（例如， abc123.clorecloud.net)

使用 https://YOUR_HTTP_PUB_URL 而不是 localhost 在下面的示例中。

安装

pip install diffusers transformers accelerate torch

# 用于视频导出
pip install imageio[ffmpeg]

基本用法

import torch
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video

# 加载管线
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    torch_dtype=torch.float16,
    variant="fp16"
)
pipe.to("cuda")

# 加载并调整图像大小
image = load_image("input.jpg")
image = image.resize((1024, 576))

# 生成视频
generator = torch.manual_seed(42)
frames = pipe(image, num_frames=25, generator=generator).frames[0]

# 保存视频
export_to_video(frames, "output.mp4", fps=7)

SVD 与 SVD-XT

特性	SVD	SVD-XT
帧数	14	25
时长	〜2 秒	〜3.5 秒
显存	16GB	24GB
质量	良好	更好

内存优化

# 启用内存高效注意力
pipe.enable_model_cpu_offload()

# 或使用注意力切片
pipe.enable_attention_slicing()

# 用于非常低显存
pipe.enable_sequential_cpu_offload()

"专业影棚柔光箱"

批处理处理
from pathlib import Path

input_dir = Path("./images")
output_dir = Path("./videos")
output_dir.mkdir(exist_ok=True)

for img_path in input_dir.glob("*.jpg"):
    image = load_image(str(img_path)).resize((1024, 576))
    frames = pipe(image, num_frames=25).frames[0]
    export_to_video(frames, str(output_dir / f"{img_path.stem}.mp4"), fps=7)
    print(f"Generated: {img_path.stem}.mp4")

["example.jpg", "戏剧性轮廓光，深色背景", 25, -1],

SVD 在 ComfyUI 中表现出色：

1. 安装 ComfyUI

2. 将 SVD 模型下载到 models/checkpoints/

3. 使用 SVD 节点进行 img2vid 工作流

# 使用固定种子以获得一致结果

内存不足

• 使用 enable_model_cpu_offload()

• 减少 num_frames 到 14

• 使用 fp16 变体

视频太短

• 使用 SVD-XT（25 帧）替代 SVD（14 帧）

• 用 RIFE 进行插帧以获得更平滑的结果

运动质量差

• 使用高质量输入图像

• 确保图像为 1024x576（或 576x1024）

• 尝试不同的随机种子

CUDA 错误

• 更新 PyTorch 和 diffusers

• 检查 CUDA 版本兼容性

下载所有所需的检查点

检查文件完整性

GPU	验证 CUDA 兼容性	费用估算	CLORE.AI 市场的典型费率（截至 2024 年）：
按小时费率	~$0.03	~$0.70	~$0.12
速度	~$0.06	~$1.50	~$0.25
512x512	~$0.10	~$2.30	~$0.40
按日费率	~$0.17	~$4.00	~$0.70
4 小时会话	~$0.25	~$6.00	~$1.00

价格因提供者而异。查看 CLORE.AI 市场 A100 40GB

使用以下方式支付

• AnimateDiff - 为 SD 图像动画化

• RIFE 插帧 - 增加帧率（FPS）

• 混元视频（Hunyuan Video） - 文本到视频