CubeComposer 4K 360° 视频

CubeComposer （CVPR 2026）是一个时空自回归扩散模型，可生成 原生 4K 360° 全景视频 基于标准透视视频输入。建立在 Wan 视频基础模型之上，使用 11,832 段高分辨率片段训练。这是首个能够原生生成 4K 360° 的开源模型——可在消费级 GPU 硬件上实现 VR 内容创作、虚拟导览和沉浸式媒体制作。

为什么这很重要

传统上，360° 视频需要专门的拍摄设备（多摄像头、拼接软件、昂贵的后期处理）。CubeComposer 改变了这一点：

• 输入：任何标准相机视频（单镜头、手机摄像头、行车记录仪）

• 输出：原生 4K 360° 等距矩形视频

• 方法：将全景拆分为立方体贴图各面，以空间一致性的方式自回归生成每个面

• 质量：显著优于以往的拼接和外绘方法

硬件要求

配置	显存	分辨率	速度
RTX 4090 24GB	24GB	4K 360°（30 帧）	约 8 分钟/片段
RTX 5090 32GB	32GB	4K 360°（60 帧）	约 6 分钟/片段
2× RTX 4090	48GB	4K 360°（120 帧）	约 9 分钟/片段
A100 80GB	80GB	4K 360°（240 帧）	约 12 分钟/片段

最低：RTX 4090 24GB（或等效 24GB+ VRAM GPU）

在 Clore.ai 上：RTX 4090 起价 $0.14–0.42/小时 现货价 —— 2 分钟片段成本约 $0.40。

安装

# 克隆仓库
git clone https://github.com/TencentARC/CubeComposer
cd cubecomposer

# 安装依赖（Python 3.10+，CUDA 12.8+）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
pip install -r requirements.txt

# 下载模型权重（约 18GB）
python scripts/download_weights.py --model cubecomposer-4k-v1

Docker（推荐用于 Clore.ai）

# 没有官方 Docker 镜像——请从源码安装：
git clone https://github.com/TencentARC/CubeComposer /workspace/CubeComposer
cd /workspace/CubeComposer
pip install -r requirements.txt
python app.py --share --listen 0.0.0.0 --port 7860

快速开始

CLI：透视视频 → 4K 360°

# 基本用法：输入透视视频，输出 4K 等距矩形视频
python generate_360.py \
  --input /workspace/input_video.mp4 \
  --output /workspace/output_360.mp4 \
  --resolution 4096x2048 \
  --frames 30 \
  --fps 30

# 更高质量：更多步数，更长片段
python generate_360.py \
  --input /workspace/walk_through_park.mp4 \
  --output /workspace/park_360_4k.mp4 \
  --resolution 4096x2048 \
  --frames 60 \
  --num_inference_steps 50 \
  --guidance_scale 7.5 \
  --fps 30

Python API

from cubecomposer import CubeComposerPipeline
import torch

# 加载管道
pipe = CubeComposerPipeline.from_pretrained(
    "cubecomposer/cubecomposer-4k-v1",
    torch_dtype=torch.bfloat16
).to("cuda")

# 从透视输入生成 360° 视频
output = pipe(
    input_video_path="input.mp4",
    num_frames=30,
    resolution=(4096, 2048),  # 4K 等距矩形
    num_inference_steps=50,
    guidance_scale=7.5,
    cubemap_size=1024  # 每个立方体贴图面的尺寸
)

# 保存为标准等距矩形 MP4
output.save("output_360.mp4", fps=30)
print(f"已生成 4K 360° 视频：output_360.mp4")

Gradio WebUI

import gradio as gr
from cubecomposer import CubeComposerPipeline
import torch

pipe = CubeComposerPipeline.from_pretrained(
    "cubecomposer/cubecomposer-4k-v1",
    torch_dtype=torch.bfloat16
).to("cuda")

def generate_360(video, frames, steps):
    output = pipe(
        input_video_path=video,
        num_frames=int(frames),
        resolution=(4096, 2048),
        num_inference_steps=int(steps)
    )
    output.save("/tmp/output_360.mp4", fps=30)
    return "/tmp/output_360.mp4"

demo = gr.Interface(
    fn=generate_360,
    inputs=[
        gr.Video(label="输入透视视频"),
        gr.Slider(10, 120, value=30, label="帧数"),
        gr.Slider(20, 80, value=50, label="推理步数（质量）")
    ],
    outputs=gr.Video(label="4K 360° 输出"),
    title="CubeComposer — 4K 360° 视频生成",
    description="上传任意透视视频 → 获得原生 4K 360° 全景视频"
)

demo.launch(server_name="0.0.0.0", server_port=7860, share=True)

在 Clore.ai 上部署：分步指南

1. 租用一张 RTX 4090

1. 前往 clore.ai/marketplace

2. 筛选：GPU， 24GB+ VRAM （推荐 RTX 4090）

3. 现货价格：约 $1.20–2.50/小时，视可用性而定

4. 选择 自定义 Docker 或 Ubuntu 镜像

2. 通过 SSH 设置

# 连接到你的 Clore 服务器
ssh root@<server-ip>

# 一行命令完成设置
git clone https://github.com/TencentARC/CubeComposer && \
  cd cubecomposer && \
  pip install -r requirements.txt && \
  python scripts/download_weights.py && \
  python app.py --port 7860 --host 0.0.0.0

3. 访问 UI

打开 http://<server-ip>:7860 在浏览器中使用 Gradio 界面。

工作流：手机视频 → 可用于 VR 的 4K 360°

# 第 1 步：将手机视频上传到服务器
scp ~/my_video.mp4 root@<server-ip>:/workspace/

# 第 2 步：生成 4K 360° 版本
ssh root@<server-ip> "cd cubecomposer && python generate_360.py \
  --input /workspace/my_video.mp4 \
  --output /workspace/my_video_360_4k.mp4 \
  --resolution 4096x2048 --frames 60"

# 第 3 步：为 YouTube/VR 头显添加 360° 元数据
ffmpeg -i my_video_360_4k.mp4 \
  -c copy \
  -metadata:s:v:0 spherical=equirectangular \
  my_video_360_4k_vr.mp4

# 第 4 步：下载结果
scp root@<server-ip>:/workspace/my_video_360_4k_vr.mp4 ~/

Spectrum 集成：在 Wan2.1 上提速 4.79×

该 Spectrum 加速器 （CVPR 2026）——一种使用切比雪夫多项式、无需训练的谱扩散特征预测器——可应用于 CubeComposer 底层的 Wan2.1 基座，实现显著提速：

from cubecomposer import CubeComposerPipeline
from spectrum_accelerator import SpectrumAccelerator
import torch

pipe = CubeComposerPipeline.from_pretrained(
    "cubecomposer/cubecomposer-4k-v1",
    torch_dtype=torch.bfloat16
).to("cuda")

# 应用 Spectrum，在不损失质量的情况下实现 4.79× 加速
accelerator = SpectrumAccelerator(pipe.unet, order=8)  # 切比雪夫阶数
pipe.unet = accelerator

# 现在生成速度约为原来的 4.79×
output = pipe(
    input_video_path="input.mp4",
    num_frames=30,
    resolution=(4096, 2048),
    num_inference_steps=50  # 约等效于 240 步的质量
)
output.save("output_fast_360.mp4")

质量提示

1. 输入视频质量很重要 —— 输入分辨率越高，360° 输出越好

2. 稳定的画面 —— 手持抖动会降低各个立方体贴图面之间的一致性

3. 光线良好 —— 避免极端对比（过曝天空 + 黑暗室内）

4. 更长的片段 —— 30+ 帧可获得更好的时间一致性

5. 面分辨率 — --cubemap_size 1024 是最佳选择（关键工作可用 2048，但会多消耗 4 倍 VRAM）

应用场景

• VR 内容创作 —— 将任意素材转换为适用于 Meta Quest、Apple Vision Pro 的格式

• 虚拟房产导览 —— 将看房视频变成 360° 导览

• 旅行内容 —— 分享沉浸式旅行体验

• 建筑可视化 —— 360° 室内/室外漫游

• 活动记录 —— 将活动录制转换为沉浸式回放

• 游戏素材 —— 生成 360° 环境参考

生产流程成本估算

任务	Clore.ai 成本
5 秒片段（30 帧，4K）	约 $0.30（RTX 4090 现货价）
10 秒片段（60 帧，4K）	~$0.50
30 秒片段（180 帧，4K）	~$1.20
批量：100 个片段（每个 5 秒）	~$30

相关指南

• Wan2.1 视频生成 —— CubeComposer 所基于的基础模型

• FramePack —— 高效长视频生成（6GB VRAM！）

• LTX-2 视频 —— 快速潜空间视频生成

• ComfyUI —— 基于节点的视频 + 图像工作流

• RIFE 视频插帧 —— 让生成的视频更平滑

---

最后更新：2026 年 3 月 16 日 | 论文：arXiv:2603.04291（CVPR 2026）| 基于 Wan2.1 基础模型