CubeComposer 4K 360°-видео

CubeComposer (CVPR 2026) — это пространственно-временная авторегрессионная диффузионная модель, которая генерирует нативное 4K 360° панорамное видео из стандартного перспективного видеовхода. Построена на базовой видеомодели Wan, обученной на 11,832 высокоразрешающих клипах. Это первая открытая модель, способная к нативной генерации 4K 360° — она открывает создание VR-контента, виртуальных туров и иммерсивных медиа на потребительском GPU-оборудовании.

Почему это важно

360°-видео традиционно требовало специализированных комплектов для съёмки (несколько камер, ПО для сшивки, дорогостоящая постобработка). CubeComposer меняет это:

• Вход: любое стандартное видео с камеры (одна линза, камера телефона, видеорегистратор)

• Вывод: нативное 4K 360° эквиректангулярное видео

• Метод: разбивает панорамы на грани cubemap, генерирует каждую грань авторегрессивно с пространственной согласованностью

• Качество: значительно превосходит предыдущие подходы к сшивке и дорисовке

Требования к оборудованию

Конфигурация	VRAM	Разрешение	Скорость
RTX 4090 24GB	24 ГБ	4K 360° (30 кадров)	~8 мин/клип
RTX 5090 32GB	32GB	4K 360° (60 кадров)	~6 мин/клип
2× RTX 4090	48 ГБ	4K 360° (120 кадров)	~9 мин/клип
A100 80 ГБ	80 ГБ	4K 360° (240 кадров)	~12 мин/клип

Минимум: RTX 4090 24GB (или эквивалентный GPU с 24GB+ VRAM)

На Clore.ai: RTX 4090 от $0.14–0.42/ч на споте — двухминутный клип стоит примерно $0.40.

Установка

# Клонировать репозиторий
git clone https://github.com/TencentARC/CubeComposer
cd cubecomposer

# Установите зависимости (Python 3.10+, CUDA 12.8+)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
pip install -r requirements.txt

# Скачайте веса модели (~18 ГБ)
python scripts/download_weights.py --model cubecomposer-4k-v1

Docker (рекомендуется для Clore.ai)

# Официального Docker-образа нет — установите из исходников:
git clone https://github.com/TencentARC/CubeComposer /workspace/CubeComposer
cd /workspace/CubeComposer
pip install -r requirements.txt
python app.py --share --listen 0.0.0.0 --port 7860

Быстрый старт

CLI: перспективное видео → 4K 360°

# Базовое использование: входное перспективное видео, выходное 4K эквиректангулярное
python generate_360.py \\
  --input /workspace/input_video.mp4 \\
  --output /workspace/output_360.mp4 \\
  --resolution 4096x2048 \\
  --frames 30 \\
  --fps 30

# Более высокое качество: больше шагов, более длинный клип
python generate_360.py \\
  --input /workspace/walk_through_park.mp4 \\
  --output /workspace/park_360_4k.mp4 \\
  --resolution 4096x2048 \\
  --frames 60 \\
  --num_inference_steps 50 \\
  --guidance_scale 7.5 \\
  --fps 30

Python API

from cubecomposer import CubeComposerPipeline
import torch

# Загрузить пайплайн
pipe = CubeComposerPipeline.from_pretrained(
    "cubecomposer/cubecomposer-4k-v1",
    torch_dtype=torch.bfloat16
).to("cuda")

# Сгенерируйте 360°-видео из перспективного входа
output = pipe(
    input_video_path="input.mp4",
    num_frames=30,
    resolution=(4096, 2048),  # 4K эквиректангулярное
    num_inference_steps=50,
    guidance_scale=7.5,
    cubemap_size=1024  # размер каждой грани cubemap
)

# Сохранить как стандартный MP4 в эквиректангулярной проекции
output.save("output_360.mp4", fps=30)
print(f"Сгенерировано 4K 360° видео: output_360.mp4")

Gradio WebUI

import gradio as gr
from cubecomposer import CubeComposerPipeline
import torch

pipe = CubeComposerPipeline.from_pretrained(
    "cubecomposer/cubecomposer-4k-v1",
    torch_dtype=torch.bfloat16
).to("cuda")

def generate_360(video, frames, steps):
    output = pipe(
        input_video_path=video,
        num_frames=int(frames),
        resolution=(4096, 2048),
        num_inference_steps=int(steps)
    )
    output.save("/tmp/output_360.mp4", fps=30)
    return "/tmp/output_360.mp4"

demo = gr.Interface(
    fn=generate_360,
    inputs=[
        gr.Video(label="Входное перспективное видео"),
        gr.Slider(10, 120, value=30, label="Количество кадров"),
        gr.Slider(20, 80, value=50, label="Шаги инференса (качество)")
    ],
    outputs=gr.Video(label="Выходное 4K 360° видео"),
    title="CubeComposer — генерация 4K 360° видео",
    description="Загрузите любое перспективное видео → получите нативное 4K 360° панорамное видео"
)

demo.launch(server_name="0.0.0.0", server_port=7860, share=True)

Развертывание на Clore.ai: пошагово

1. Арендуйте RTX 4090

1. Перейдите на clore.ai/marketplace

2. Фильтр: GPU с 24GB+ VRAM (рекомендуется RTX 4090)

3. Спотовая цена: примерно $1.20–2.50/ч в зависимости от доступности

4. Выберите Пользовательский Docker или Ubuntu образ

2. Настройка через SSH

# Подключитесь к вашему серверу Clore
ssh root@<server-ip>

# Настройка одной командой
git clone https://github.com/TencentARC/CubeComposer && \\
  cd cubecomposer && \\
  pip install -r requirements.txt && \
  python scripts/download_weights.py && \\
  python app.py --port 7860 --host 0.0.0.0

3. Откройте интерфейс

Открыть http://<server-ip>:7860 в браузере, чтобы использовать интерфейс Gradio.

Рабочий процесс: видео с телефона → готовое для VR 4K 360°

# Шаг 1: загрузите видео с телефона на сервер
scp ~/my_video.mp4 root@<server-ip>:/workspace/

# Шаг 2: сгенерируйте версию 4K 360°
ssh root@<server-ip> "cd cubecomposer && python generate_360.py \\
  --input /workspace/my_video.mp4 \\
  --output /workspace/my_video_360_4k.mp4 \\
  --resolution 4096x2048 --frames 60"

# Шаг 3: добавьте 360° метаданные для YouTube/VR-гарнитур
ffmpeg -i my_video_360_4k.mp4 \\
  -c copy \\
  -metadata:s:v:0 spherical=equirectangular \\
  my_video_360_4k_vr.mp4

# Шаг 4: скачайте результат
scp root@<server-ip>:/workspace/my_video_360_4k_vr.mp4 ~/

Интеграция Spectrum: ускорение в 4.79× на Wan2.1

Параметр Ускоритель Spectrum (CVPR 2026) — предсказатель спектральных признаков диффузии без обучения, использующий полиномы Чебышёва, — может быть применён к базовой модели Wan2.1, лежащей в основе CubeComposer, для существенного ускорения:

from cubecomposer import CubeComposerPipeline
from spectrum_accelerator import SpectrumAccelerator
import torch

pipe = CubeComposerPipeline.from_pretrained(
    "cubecomposer/cubecomposer-4k-v1",
    torch_dtype=torch.bfloat16
).to("cuda")

# Примените Spectrum для ускорения в 4.79× без потери качества
accelerator = SpectrumAccelerator(pipe.unet, order=8)  # порядок Чебышёва
pipe.unet = accelerator

# Теперь генерирует примерно в 4.79× быстрее исходной скорости
output = pipe(
    input_video_path="input.mp4",
    num_frames=30,
    resolution=(4096, 2048),
    num_inference_steps=50  # Эффективное качество примерно как у 240 шагов
)
output.save("output_fast_360.mp4")

Советы по качеству

1. Качество входного видео имеет значение — более высокое разрешение входа = лучшее 360°-выходное видео

2. Стабильная съёмка — дрожание при съёмке с рук снижает согласованность между гранями cubemap

3. Хорошее освещение — избегайте экстремального контраста (пересвеченное небо + тёмный интерьер)

4. Более длинные клипы — 30+ кадров дают лучшую временную согласованность

5. Разрешение грани — --cubemap_size 1024 — оптимальный вариант (2048 для критически важных задач, требует в 4× больше VRAM)

Сценарии использования

• Создание VR-контента — конвертируйте любые материалы для Meta Quest, Apple Vision Pro

• Виртуальные туры по недвижимости — превращайте видео-обзоры в 360°-туры

• Туристический контент — делитесь иммерсивными путешествиями

• Архитектурная визуализация — 360°-обзоры интерьеров/экстерьеров

• Документация мероприятий — превращайте записи мероприятий в иммерсивные повторы

• Игровые ассеты — генерируйте 360°-референсы окружения

Оценка стоимости для производственного процесса

Задача	Стоимость на Clore.ai
5-секундный клип (30 кадров, 4K)	~$0.30 (спот RTX 4090)
10-секундный клип (60 кадров, 4K)	~$0.50
30-секундный клип (180 кадров, 4K)	~$1.20
Пакет: 100 клипов (по 5 с каждый)	~$30

Связанные руководства

• Генерация видео Wan2.1 — базовая модель, лежащая в основе CubeComposer

• FramePack — эффективная генерация длинного видео (6 ГБ VRAM!)

• LTX-2 Video — быстрая латентная генерация видео

• ComfyUI — узловой рабочий процесс для видео + изображений

• Интерполяция видео RIFE — сглаживает сгенерированное видео

---

Последнее обновление: 16 марта 2026 | Статья: arXiv:2603.04291 (CVPR 2026) | Основано на базовой модели Wan2.1