LTX-2 (аудио + видео)

Создавайте видео с нативным аудио — фоли, атмосферой и синхронизацией губ — с помощью LTX-2 на GPU Clore.ai.

LTX-2 (январь 2026) — это видеобазовая модель второго поколения от Lightricks и первая модель с открытыми весами, способная создавать синхронизированное аудио вместе с видео за один прямой проход. При 19 млрд параметров она генерирует клипы с шумами фоли, фоновой атмосферой и речью, синхронизированной по губам, без необходимости отдельной аудиомодели. Архитектура опирается на преимущество LTX-Video по скорости, при этом значительно расширяя возможности.

Аренда GPU на Clore.ai — самый практичный способ запустить модель с 19 млрд параметров: не нужно покупать GPU за $2,000 — просто поднимите машину и начинайте генерировать.

Ключевые особенности

• Нативная генерация аудио — эффекты фоли, окружающая атмосфера и диалоги, синхронизированные по губам, создаются совместно с видеокадрами.

• 19 млрд параметров — значительно более крупный трансформерный backbone, чем у LTX-Video v1, обеспечивающий более чёткие детали и более согласованное движение.

• Преобразование текста в видео + изображения в видео — поддерживаются обе модальности с аудиовыходом.

• Разрешение до 720p — более высокое качество вывода, чем у модели v1.

• Совместное аудиовизуальное латентное пространство — единый VAE кодирует и видео, и аудио, сохраняя их временное выравнивание.

• Открытые веса — выпущена под разрешительной лицензией для коммерческого использования.

• Интеграция с Diffusers — совместима с экосистемой Hugging Face diffusers .

Требования

Компонент	Минимум	Рекомендуется
VRAM GPU	16 ГБ (с выгрузкой)	24+ ГБ
Системная RAM	32 ГБ	64 ГБ
Диск	50 ГБ	80 ГБ
Python	3.10+	3.11
CUDA	12.8+	12.8+
diffusers	0.33+	последняя версия

Рекомендация по GPU от Clore.ai: Один RTX 4090 (24 ГБ, $0.14–0.42/ч) — минимальный объём для комфортной генерации 720p с аудио. Для пакетной обработки или более быстрого итеративного цикла отфильтруйте dual-4090 или A6000 (48 ГБ) в объявлениях на маркетплейсе Clore.ai.

Быстрый старт

# Установить зависимости
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
pip install diffusers transformers accelerate sentencepiece
pip install imageio[ffmpeg] soundfile scipy

# Проверить GPU
python -c "import torch; print(torch.cuda.get_device_name(0), torch.cuda.get_device_properties(0).total_mem // 1024**3, 'GB')"

Примеры использования

Текст в видео с аудио

import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video
import soundfile as sf

# Загрузите LTX-2 (убедитесь, что у вас правильный ID модели после выпуска)
pipe = LTXPipeline.from_pretrained(
    "Lightricks/LTX-Video-2",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()

prompt = (
    "Кузнец кует раскалённый металл на наковальне, искры летят, "
    "ритмичный звон молота о сталь, фоновый шум мастерской"
)

output = pipe(
    prompt=prompt,
    negative_prompt="без звука, размытый, низкое качество",
    num_frames=121,
    width=1280,
    height=720,
    num_inference_steps=40,
    guidance_scale=7.0,
    generator=torch.Generator("cuda").manual_seed(42),
)

# Экспортировать видеокадры
export_to_video(output.frames[0], "blacksmith.mp4", fps=24)

# Экспортировать аудио, если доступно
if hasattr(output, "audio") and output.audio is not None:
    sf.write("blacksmith_audio.wav", output.audio, samplerate=16000)
    print("Аудио сохранено отдельно — объедините с помощью ffmpeg:")
    print("  ffmpeg -i blacksmith.mp4 -i blacksmith_audio.wav -c:v copy -c:a aac output.mp4")

print("Готово: blacksmith.mp4")

Изображение в видео с аудио, синхронизированным по губам

import torch
from PIL import Image
from diffusers import LTXImageToVideoPipeline
from diffusers.utils import export_to_video

pipe = LTXImageToVideoPipeline.from_pretrained(
    "Lightricks/LTX-Video-2",
    torch_dtype=torch.bfloat16,
)
pipe.to("cuda")
pipe.enable_model_cpu_offload()

# Портретное изображение для синхронизации по губам
image = Image.open("portrait.png").resize((720, 1280))

output = pipe(
    prompt="Человек говорит 'Добро пожаловать в будущее ИИ-видео' чётко и разборчиво, нейтральный фон",
    image=image,
    num_frames=121,
    num_inference_steps=40,
    guidance_scale=7.0,
)

export_to_video(output.frames[0], "talking_head.mp4", fps=24)

Атмосферная сцена с фоли

import torch
from diffusers import LTXPipeline
from diffusers.utils import export_to_video

pipe = LTXPipeline.from_pretrained(
    "Lightricks/LTX-Video-2", torch_dtype=torch.bfloat16
).to("cuda")

# Аудионасыщенный промпт — явно опишите звуки
prompt = (
    "Дождь падает на жестяную крышу в тропической деревне, "
    "далёкий раскат грома, птицы ненадолго щебечут между раскатами, "
    "лужи рябят на грунтовой дороге"
)

output = pipe(
    prompt=prompt,
    num_frames=121,
    width=1280,
    height=720,
    num_inference_steps=40,
    guidance_scale=6.5,
)

export_to_video(output.frames[0], "rain_scene.mp4", fps=24)

Советы для пользователей Clore.ai

1. Опишите звуки явно — аудиоветвь LTX-2 реагирует на аудиоподсказки в промпте. «Потрескивание огня», «шаги по гравию», «шум толпы» дают более качественный фоли, чем расплывчатые описания.

2. Выгрузка на CPU обязательна — при 19 млрд параметров модели требуется enable_model_cpu_offload() на картах 24 ГБ. Заложите 64 ГБ системной RAM.

3. Постоянное хранилище — контрольная точка модели занимает ~40 ГБ. Подключите постоянный том Clore.ai и задайте HF_HOME чтобы не скачивать заново при каждом перезапуске контейнера.

4. Объединяйте аудио + видео — если pipeline выводит аудио отдельно, объедините с помощью: ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac final.mp4.

5. только bf16 — модель на 19 млрд параметров обучалась в bf16; fp16 вызовет численную нестабильность.

6. Пакетная обработка в tmux — всегда запускайте внутри tmux на арендах Clore.ai, чтобы переживать разрывы SSH.

7. Проверьте ID модели — поскольку LTX-2 только что выпущена (янв. 2026), проверьте точный ID модели на странице Lightricks HF перед запуском.

Устранение неполадок

Проблема	Исправьте
OutOfMemoryError	Включите pipe.enable_model_cpu_offload(); убедитесь, что доступно ≥64 ГБ системной RAM
Аудио отсутствует в выводе	Для генерации аудио может потребоваться явный флаг или обновлённый diffusers; проверьте карточку модели на предмет последнего API
Несинхронность аудио/видео	Повторно объедините с ffmpeg: ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -shortest out.mp4
Очень медленная генерация	Модель на 19 млрд параметров очень требовательна к вычислениям; около 2–4 мин на клип длиной 5 сек на RTX 4090 — ожидаемо
Выходы NaN	Используйте torch.bfloat16 — fp16 не поддерживается для модели такого масштаба
Ошибка нехватки дискового пространства	Размер модели ~40 ГБ; перед загрузкой убедитесь, что свободно ≥80 ГБ диска
ModuleNotFoundError: soundfile	pip install soundfile — необходимо для экспорта WAV-аудио