AnimateDiff

AnimateDiff — это модуль plug-and-play, который анимирует ваши существующие модели Stable Diffusion без какого-либо дополнительного обучения. Имея более 10 000 звёзд на GitHub, это основной фреймворк для преобразования статичных SD-чекпойнтов в плавные видеогенераторы с временной согласованностью. Запустите его на GPU-инстансе Clore.ai, используя ComfyUI в качестве фронтенда для максимальной гибкости.

---

Что такое AnimateDiff?

AnimateDiff вставляет модуль движения в замороженный U-Net Stable Diffusion. Модуль движения обучается один раз на видеоданных и может быть объединён с любым дообученным чекпойнтом SD 1.5 — моделями DreamBooth, LoRA, адаптерами ControlNet — без повторного обучения. Результат — короткие анимированные клипы (обычно 16–32 кадра при 8 fps), которые сохраняют стиль базовой модели.

Ключевые моменты:

• Работает с любым чекпойнтом SD 1.5 сразу из коробки

• Совместим с ControlNet, IP-Adapter, LoRA и другими расширениями

• Экосистема узлов ComfyUI обеспечивает полный контроль над конвейером

• Для более высокого разрешения доступны модули движения SDXL

• Поддерживаемый сообществом набор моделей со специализированными модулями движения

---

Предварительные требования

Требование	Минимум	Рекомендуется
VRAM GPU	8 ГБ	16–24 ГБ
GPU	RTX 3080	RTX 4090 / A100
ОЗУ	16 ГБ	32 ГБ
Хранилище	20 ГБ	50+ ГБ

AnimateDiff со стандартной последовательностью из 16 кадров при 512×512 потребляет примерно 8–10 ГБ VRAM. Для 768×768 или более длинных последовательностей рекомендуется 16+ ГБ.

---

Шаг 1 — Арендуйте GPU на Clore.ai

1. Перейдите на маркетплейсе clore.ai и войдите в систему.

2. Нажмите Маркетплейс и отфильтруйте по VRAM (≥ 16 ГБ для лучших результатов).

3. Выберите сервер — RTX 4090 или A6000 предлагает лучшее соотношение цены и производительности.

4. В Docker-образ, введите свой пользовательский образ (см. шаг 2 ниже).

5. Настроить открытые порты: 22 (SSH) и 8188 (веб-интерфейс ComfyUI).

6. Нажмите Аренда и дождитесь запуска инстанса (~1–2 минуты).

Используйте Продвинутый настройка портов для сопоставления порта 8188 с общедоступным портом. Запомните назначенный общедоступный порт — он понадобится для доступа к веб-интерфейсу ComfyUI.

---

Шаг 2 — Docker-образ

Единого официального Docker-образа AnimateDiff не существует. Рекомендуется использовать образ на основе ComfyUI с предустановленными узлами AnimateDiff.

Рекомендуемый публичный образ:

yanwk/comfyui-boot:latest

Или соберите свой:

FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

RUN apt-get update && apt-get install -y \\
    git wget curl ffmpeg libgl1 libglib2.0-0 \
    openssh-server && \
    rm -rf /var/lib/apt/lists/*

# Настройка SSH
RUN mkdir /var/run/sshd && \\
    echo 'root:clore123' | chpasswd && \\
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# Клонировать ComfyUI
RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \
    cd /workspace/ComfyUI && pip install -r requirements.txt

# Установить ComfyUI Manager
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/ltdrdata/ComfyUI-Manager

# Установить узлы AnimateDiff-Evolved
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \
    pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt

# Установить VideoHelperSuite для вывода
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \
    pip install -r ComfyUI-VideoHelperSuite/requirements.txt

EXPOSE 22 8188

CMD service ssh start && \\
    python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header

---

Шаг 3 — Подключение по SSH

После запуска инстанса подключитесь по SSH, чтобы загрузить модели:

ssh root@<clore-host> -p <assigned-ssh-port>

Замените <clore-host> и <assigned-ssh-port> с значениями, указанными в вашей панели управления Clore.ai.

---

Шаг 4 — Загрузка моделей

Для AnimateDiff минимально требуется базовый чекпойнт SD 1.5 и модуль движения.

Скачать модуль движения

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

# модуль движения v3 (рекомендуется)
wget -O v3_sd15_mm.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt"

# модуль движения v2 (более широкая совместимость)
wget -O mm_sd_v15_v2.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt"

Скачать базовый чекпойнт SD 1.5

cd /workspace/ComfyUI/models/checkpoints

# Realistic Vision (популярен для AnimateDiff)
wget -O realisticVisionV60B1_v51VAE.safetensors \
  "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors"

Можно использовать любой дообученный SD 1.5. Популярные варианты включают DreamShaper, Deliberate и Epicphotogasm. Скачайте их с CivitAI или Hugging Face.

(Необязательно) Скачать модуль движения SDXL

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

wget -O temporaldiff-v1-animatediff.safetensors \
  "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors"

---

Шаг 5 — Доступ к ComfyUI

Откройте браузер и перейдите по адресу:

http://<clore-host>:<public-port-8188>

Вы должны увидеть интерфейс редактора узлов ComfyUI.

Добавьте этот URL в закладки. ComfyUI автоматически сохраняет ваш workflow по мере работы — вручную сохранять не нужно, если только вы не экспортируете JSON.

---

Шаг 6 — Загрузите workflow AnimateDiff

Базовый workflow AnimateDiff (JSON)

В ComfyUI нажмите Загрузить и вставьте или импортируйте этот JSON workflow, либо соберите его вручную с помощью этих узлов:

Основная цепочка узлов:

1. Load Checkpoint → ваш чекпойнт SD 1.5

2. CLIP Text Encode (Промпт) → положительные и отрицательные промпты

3. Загрузчик AnimateDiff → выберите ваш модуль движения

4. KSampler (Эффективный) → настройки сэмплирования

5. VAE Decode → декодирование латентов

6. Объединение видео (VideoHelperSuite) → экспорт в GIF/MP4

Рекомендуемые настройки сэмплирования

Параметр	Значение
Шаги	20–25
Масштаб CFG	7–8
Сэмплер	DPM++ 2M Karras
Ширина × Высота	512 × 512
Кадры	16
Длина контекста	16

---

Шаг 7 — Запустите свою первую анимацию

1. В CLIP Text Encode узле, введите свой промпт:

   Величественный лев, идущий через высокую траву на закате, кинематографично, 4k

2. В узле отрицательного промпта:

   худшее качество, низкое качество, размыто, водяной знак, деформированное, nsfw

3. В Загрузчик AnimateDiff, выберите v3_sd15_mm.ckpt

4. Нажмите Поставить запрос в очередь

Время генерации 16 кадров при 512×512 и 20 шагах составляет примерно 30–60 секунд на RTX 4090. Более длинные последовательности и более высокие разрешения масштабируются линейно.

---

Продвинутые техники

Использование ControlNet с AnimateDiff

AnimateDiff работает с ControlNet для управляемой генерации видео:

# Скачать модель ControlNet
cd /workspace/ComfyUI/models/controlnet
wget -O control_v11p_sd15_openpose.pth \
  "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth"

Добавьте Применение ControlNet узел между Загрузка модели ControlNet и KSampler. Используйте изображение скелета OpenPose в качестве управляющего входа.

Путешествие промпта (анимация по ключевым кадрам)

Узел AnimateDiff-Evolved поддерживает путешествие промпта — разные текстовые промпты в разных кадрах:

"Лес на рассвете" → кадр 0
"Лес в полдень" → кадр 8
"Лес на закате" → кадр 16

Это создаёт плавные переходы между сценами без ручной расстановки ключевых кадров.

Использование LoRA с AnimateDiff

# Скачать motion LoRA
cd /workspace/ComfyUI/models/loras
wget -O v2_lora_PanLeft.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt"

Добавьте Загрузчик LoRA узел для применения эффектов движения камеры: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise.

---

Форматы вывода

AnimateDiff через VideoHelperSuite поддерживает:

Формат	Узел	Примечания
GIF	Объединение видео	Лучше всего для обмена
MP4 (h264)	Объединение видео	Наименьший размер файла
WebP	Объединение видео	Хорошее соотношение качества и размера
Кадры PNG	Save Image	Для постобработки

---

Устранение неполадок

Недостаточно памяти (CUDA OOM)

RuntimeError: недостаточно памяти CUDA

Решения:

• Уменьшите количество кадров (попробуйте 8 вместо 16)

• Снизьте разрешение (512×512 — оптимальный вариант для SD 1.5)

• Включите --lowvram флаг в команде запуска ComfyUI

• Используйте fp16 точность в Load Checkpoint узел

Модуль движения не найден

Ошибка: модуль движения не найден

Решение: Проверьте .ckpt что файл находится в:

/workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

Обновите страницу ComfyUI, чтобы перезагрузить доступные модели.

Мерцание / Непоследовательные кадры

Решения:

• Увеличьте context_length чтобы соответствовать общему числу кадров

• Используйте v3_sd15_mm.ckpt вместо v2 (лучшая временная согласованность)

• Снизьте масштаб CFG (попробуйте 7 вместо 9)

• Используйте сэмплер с меньшей вариативностью: DPM++ 2M Karras или Euler a

SSH: соединение отклонено

ssh: connect to host <ip> port <port>: соединение отклонено

Решение: Подождите 1–2 минуты, пока запустится SSH-демон, или проверьте в журналах панели Clore.ai, полностью ли инициализировался контейнер.

---

Рекомендации по GPU для Clore.ai

AnimateDiff использует базовую архитектуру SD 1.5 — требования к VRAM скромные по сравнению с современными видеомоделями, что делает его бюджетным вариантом.

GPU	VRAM	Цена Clore.ai	16 кадров @ 512 px	Примечания
RTX 3090	24 ГБ	$0.07–0.21/ч	~50 с	Лучшее соотношение цены и качества — запускайте несколько пакетов в очереди
RTX 4090	24 ГБ	$0.14–0.42/ч	~30с	Самый быстрый потребительский GPU
A100 40 ГБ	40 ГБ	голое железо	~18 с	Избыточно для SD 1.5, но хорошо подходит для SDXL+AnimateDiff
RTX 3080 10GB	10 ГБ	$0.05–0.19/ч	~90 с	Минимальный бюджет — ограничение до 512 px, более короткие клипы

RTX 3090 — оптимальный вариант для AnimateDiff по цене $0.07–0.21/час. Анимация из 16 кадров занимает ~50 секунд, то есть вы можете создавать 70+ клипов на каждый потраченный доллар. Для массового создания контента ставьте пакетную очередь в ComfyUI и запускайте на ночь.

Пользователям SDXL AnimateDiff: Модули движения SDXL требуют более 12 ГБ VRAM для 768 px. RTX 3090/4090 хорошо с этим справляются. RTX 3080 (10 ГБ) слишком ограничена для рабочих процессов SDXL.

---

Полезные ресурсы

• GitHub AnimateDiff

• ComfyUI-AnimateDiff-Evolved

• Официальный ComfyUI

• Модели движения AnimateDiff (HuggingFace)

• CivitAI — SD-чекпойнты