Генерация LTX-Video в реальном времени

Создавайте 5-секундные видео быстрее реального времени с LTX-Video от Lightricks на GPU Clore.ai.

LTX-Video от Lightricks — самая быстрая доступная модель генерации видео с открытым исходным кодом. На RTX 4090 она создаёт 5-секундный клип 768×512 примерно за 4 секунды — быстрее, чем воспроизведение в реальном времени. Модель поддерживает рабочие процессы text-to-video (T2V) и image-to-video (I2V) через нативную diffusers интеграцию через LTXPipeline и LTXImageToVideoPipeline.

Аренда GPU на Clore.ai даёт вам мгновенный доступ к аппаратным ресурсам, необходимым для LTX-Video, без первоначальных вложений и с почасовой оплатой.

Ключевые особенности

• Быстрее, чем в реальном времени — 5-секундное видео, сгенерированное примерно за 4 секунды на RTX 4090.

• Текст-в-видео — создавайте клипы по описаниям на естественном языке.

• Изображение в видео — анимируйте статичное эталонное изображение с движением и управлением камерой.

• Лёгкая архитектура — видео DiT на 2 млрд параметров с компактным латентным пространством.

• Нативные diffusers — LTXPipeline и LTXImageToVideoPipeline в diffusers >= 0.32.

• Открытые веса — лицензия Apache-2.0; полностью разрешено коммерческое использование.

• Темпоральный VAE — коэффициент сжатия 1:192 по пространству и времени; эффективное декодирование.

Требования

Компонент	Минимум	Рекомендуется
VRAM GPU	16 ГБ	24 ГБ
Системная RAM	16 ГБ	32 ГБ
Диск	15 ГБ	30 ГБ
Python	3.10+	3.11
CUDA	12.8+	12.8+
diffusers	0.32+	последняя версия

Рекомендация по GPU от Clore.ai: Один RTX 4090 (24 GB, $0.14–0.42/ч) идеально подходит для максимальной пропускной способности. Один RTX 3090 (24 GB, $0.07–0.21/ч) всё ещё работает быстрее многих конкурирующих моделей при лишь небольшой доле их стоимости.

Быстрый старт

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install diffusers transformers accelerate sentencepiece imageio[ffmpeg]

python -c "import torch; print(torch.cuda.get_device_name(0))"

Примеры использования

Текст-в-видео

import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video

pipe = LTXPipeline.from_pretrained(
    "Lightricks/LTX-Video",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")

prompt = (
    "Съёмка с дрона, скользящая над бирюзовым коралловым рифом, "
    "стайки тропических рыб, снующие внизу, свет золотого часа "
    "преломляющийся сквозь поверхность воды"
)

video_frames = pipe(
    prompt=prompt,
    negative_prompt="размытое, низкое качество, искажённое",
    num_frames=121,               # ~5 сек при 24 кадрах/с
    width=768,
    height=512,
    num_inference_steps=30,
    guidance_scale=7.5,
    generator=torch.Generator("cuda").manual_seed(0),
).frames[0]

export_to_video(video_frames, "coral_reef.mp4", fps=24)
print("Сохранено coral_reef.mp4")

Изображение в видео

import torch
from PIL import Image
from diffusers import LTXImageToVideoPipeline
from diffusers.utils import export_to_video

pipe = LTXImageToVideoPipeline.from_pretrained(
    "Lightricks/LTX-Video",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")

image = Image.open("cityscape.png").resize((768, 512))

video_frames = pipe(
    prompt="Камера медленно панорамирует вправо, городские огни загораются в сумерках",
    negative_prompt="статичный, размытый",
    image=image,
    num_frames=121,
    num_inference_steps=30,
    guidance_scale=7.5,
).frames[0]

export_to_video(video_frames, "cityscape_animated.mp4", fps=24)

Скрипт пакетной генерации

import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video

pipe = LTXPipeline.from_pretrained(
    "Lightricks/LTX-Video", torch_dtype=torch.bfloat16
).to("cuda")

prompts = [
    "Кошка потягивается на залитом солнцем подоконнике, в воздухе парят пылинки",
    "Вид с воздуха на волны, разбивающиеся о чёрный вулканический песок",
    "Таймлапс грозовых облаков, катящихся над прерией",
]

for i, prompt in enumerate(prompts):
    frames = pipe(
        prompt=prompt,
        num_frames=121,
        width=768,
        height=512,
        num_inference_steps=30,
        guidance_scale=7.5,
    ).frames[0]
    export_to_video(frames, f"batch_{i:03d}.mp4", fps=24)
    print(f"[{i+1}/{len(prompts)}] Готово")

Советы для пользователей Clore.ai

1. Тест скорости — на RTX 4090 LTX-Video генерирует 121 кадр примерно за 4 секунды; используйте это как проверку того, что ваш арендованный экземпляр работает правильно.

2. Точность bf16 — контрольная точка обучена в bf16; не переключайтесь на fp16, иначе качество может ухудшиться.

3. Кэширование весов — задайте HF_HOME=/workspace/hf_cache на постоянном томе. Модель занимает ~6 ГБ; повторная загрузка при каждом запуске контейнера тратит время впустую.

4. Инженерия промптов — LTX-Video хорошо реагирует на кинематографический язык: "съёмка с дрона", "замедленная съёмка", "золотой час", "трекинг-шот". Уточняйте движение камеры.

5. Пакетно за ночь — LTX-Video достаточно быстра, чтобы генерировать сотни клипов в час на 4090. Поместите промпты в очередь из файла и дайте ей работать.

6. SSH + tmux — всегда запускайте генерацию внутри tmux сеанса, чтобы обрывы соединения не прерывали длительные пакетные задачи.

7. Мониторинг VRAM — watch -n1 nvidia-smi во втором терминале, чтобы убедиться, что вы не уходите в swap.

Устранение неполадок

Проблема	Исправьте
OutOfMemoryError	Уменьшите num_frames до 81 или ширину/высоту до 512×320
Модель не найдена в diffusers	Обновите: pip install -U diffusers — LTXPipeline требует diffusers ≥ 0.32
Чёрный или статичный вывод	Убедитесь, что вы передаёте negative_prompt; увеличьте guidance_scale до 8–9
ImportError: imageio	pip install imageio[ffmpeg] — для экспорта MP4 нужен бэкенд ffmpeg
Медленный первый инференс	Первый запуск компилирует ядра CUDA и загружает веса; последующие запуски быстрые
Артефакты цветовых полос	Используйте torch.bfloat16 (не float16); bfloat16 имеет более широкий динамический диапазон
Контейнер перезапустился в середине задачи	Установите HF_HOME в постоянное хранилище; частичные загрузки из HF автоматически возобновляются