AnimateDiff

AnimateDiff — это модуль plug-and-play, который анимирует ваши существующие модели Stable Diffusion без дополнительного обучения. Имея более 10 000 звёзд на GitHub, это основной фреймворк для превращения статичных SD чекпойнтов в плавные, временно-согласованные генераторы видео. Запустите его на GPU-инстансе Clore.ai, используя ComfyUI в качестве фронтенда для максимальной гибкости.

---

Что такое AnimateDiff?

AnimateDiff вставляет модуль движения в замороженный U-Net Stable Diffusion. Модуль движения обучается один раз на видеоданных и может быть объединён с любым дообученным SD 1.5 чекпойнтом — моделями DreamBooth, LoRA, адаптерами ControlNet — без повторного обучения. В результате получаются короткие анимированные клипы (обычно 16–32 кадра при 8 fps), сохраняющие стиль базовой модели.

Ключевые особенности:

• Работает с любым SD 1.5 чекпойнтом из коробки

• Совместим с ControlNet, IP-Adapter, LoRAs и другими расширениями

• Экосистема узлов ComfyUI обеспечивает полный контроль над пайплайном

• Доступны модули движения для SDXL для вывода более высокого разрешения

• Сообщество поддерживает модельный зоопарк с доменно-специфичными модулями движения

---

Требования

Требование	Минимум	Рекомендуется
VRAM GPU	8 ГБ	16–24 ГБ
GPU	RTX 3080	RTX 4090 / A100
ОЗУ	16 ГБ	32 ГБ
Хранилище	20 ГБ	50+ ГБ

AnimateDiff со стандартной последовательностью из 16 кадров при 512×512 потребляет примерно 8–10 ГБ видеопамяти. Для 768×768 или более длинных последовательностей рекомендуется 16+ ГБ.

---

Шаг 1 — Арендуйте GPU на Clore.ai

1. Перейдите на clore.ai и войдите в систему.

2. Нажмите Маркетплейс и фильтруйте по VRAM (≥ 16 ГБ для лучших результатов).

3. Выберите сервер — RTX 4090 или A6000 предлагают лучшее соотношение цены и производительности.

4. Под образ Docker, укажите ваш пользовательский образ (см. Шаг 2 ниже).

5. Настроить открытые порты: 22 (SSH) и 8188 (веб-интерфейс ComfyUI).

6. Нажмите Арендовать и дождитесь запуска инстанса (~1–2 минуты).

Используйте вкладку Продвинутые настройку порта для проброса порта 8188 на публичный порт. Запомните назначенный публичный порт — вы будете использовать его для доступа к веб-интерфейсу ComfyUI.

---

Шаг 2 — Docker Image

Единого официального Docker-образа AnimateDiff не существует. Рекомендуемый подход — использовать образ на базе ComfyUI с предустановленными узлами AnimateDiff.

Рекомендуемый публичный образ:

yanwk/comfyui-boot:latest

Или соберите свой собственный:

FROM pytorch/pytorch:2.1.2-cuda12.1-cudnn8-runtime

RUN apt-get update && apt-get install -y \
    git wget curl ffmpeg libgl1 libglib2.0-0 \
    openssh-server && \
    rm -rf /var/lib/apt/lists/*

# Настройка SSH
RUN mkdir /var/run/sshd && \
    echo 'root:clore123' | chpasswd && \
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# Клонировать ComfyUI
RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \
    cd /workspace/ComfyUI && pip install -r requirements.txt

# Установить ComfyUI Manager
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/ltdrdata/ComfyUI-Manager

# Установить узлы AnimateDiff-Evolved
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \
    pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt

# Установить VideoHelperSuite для вывода
RUN cd /workspace/ComfyUI/custom_nodes && \
    git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \
    pip install -r ComfyUI-VideoHelperSuite/requirements.txt

EXPOSE 22 8188

CMD service ssh start && \
    python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header

---

Шаг 3 — Подключитесь по SSH

Когда инстанс запущен, подключитесь по SSH, чтобы скачать модели:

ssh root@<clore-host> -p <assigned-ssh-port>

Замените <clore-host> и <assigned-ssh-port> с значениями, показанными на вашей панели Clore.ai.

---

Шаг 4 — Скачать модели

AnimateDiff требует как минимум базовый SD 1.5 чекпойнт и модуль движения.

Скачать модуль движения

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

# модуль движения v3 (рекомендуется)
wget -O v3_sd15_mm.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt"

# модуль движения v2 (более широкая совместимость)
wget -O mm_sd_v15_v2.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt"

Скачать базовый SD 1.5 чекпойнт

cd /workspace/ComfyUI/models/checkpoints

# Realistic Vision (популярен для AnimateDiff)
wget -O realisticVisionV60B1_v51VAE.safetensors \
  "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors"

Вы можете использовать любой дообученный SD 1.5. Популярные варианты включают DreamShaper, Deliberate и Epicphotogasm. Скачивайте с CivitAI или Hugging Face.

(Опционально) Скачать SDXL модуль движения

cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models

wget -O temporaldiff-v1-animatediff.safetensors \
  "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors"

---

Шаг 5 — Доступ к ComfyUI

Откройте браузер и перейдите по адресу:

http://<clore-host>:<public-port-8188>

Вы должны увидеть интерфейс редактора узлов ComfyUI.

Добавьте эту ссылку в закладки. ComfyUI автоматически сохраняет ваш рабочий процесс по ходу работы — вручную сохранять не нужно, если только вы не экспортируете JSON.

---

Шаг 6 — Загрузить рабочий процесс AnimateDiff

Базовый рабочий процесс AnimateDiff (JSON)

В ComfyUI нажмите Загрузить и вставьте или импортируйте этот JSON рабочий процесс, либо соберите его вручную с этими узлами:

Основная цепочка узлов:

1. Загрузить чекпойнт → ваш SD 1.5 чекпойнт

2. CLIP Text Encode (Prompt) → позитивные и негативные промпты

3. AnimateDiff Loader → выберите ваш модуль движения

4. KSampler (Efficient) → настройки сэмплинга

5. VAE Decode → декодирование латентов

6. Video Combine (VideoHelperSuite) → экспорт в GIF/MP4

Рекомендуемые настройки сэмплинга

Параметр	Значение
Шаги	20–25
CFG Scale	7–8
Sampler	DPM++ 2M Karras
Ширина × Высота	512 × 512
Кадры	16
Длина контекста	16

---

Шаг 7 — Запустите вашу первую анимацию

1. В узле CLIP Text Encode введите ваш промпт:

   Величественный лев, идущий по высокой траве на закате, кинематографично, 4k

2. В узле негативного промпта:

   худшее качество, низкое качество, размытость, водяной знак, деформация, nsfw

3. В AnimateDiff Loader, выберите v3_sd15_mm.ckpt

4. Нажмите Очередь промптов

Время генерации для 16 кадров при 512×512 и 20 шагах составляет примерно 30–60 секунд на RTX 4090. Более длинные последовательности и большее разрешение масштабируются линейно.

---

Продвинутые техники

Использование ControlNet с AnimateDiff

AnimateDiff работает с ControlNet для направленной генерации видео:

# Скачать модель ControlNet
cd /workspace/ComfyUI/models/controlnet
wget -O control_v11p_sd15_openpose.pth \
  "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth"

Добавьте ControlNet Apply узел между Загрузить модель ControlNet и KSampler. Используйте изображение скелета OpenPose в качестве условия (conditioning input).

Prompt Travel (анимация ключевых кадров)

Узел AnimateDiff-Evolved поддерживает prompt travel — разные текстовые промпты на разных кадрах:

"Лес на рассвете" → кадр 0
"Лес в полдень" → кадр 8
"Лес на закате" → кадр 16

Это создаёт плавные переходы между сценами без ручной установки ключевых кадров.

Использование LoRA с AnimateDiff

# Скачать motion LoRA
cd /workspace/ComfyUI/models/loras
wget -O v2_lora_PanLeft.ckpt \
  "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt"

Добавьте LoRA Loader узел для применения эффектов движения камеры: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise.

---

Форматы вывода

AnimateDiff через VideoHelperSuite поддерживает:

Формат	Узел	Примечания
GIF	Video Combine	Лучше всего для шаринга
MP4 (h264)	Video Combine	Минимальный размер файла
WebP	Video Combine	Хорошее соотношение качества и размера
PNG кадры	Save Image	Для постобработки

---

Устранение неполадок

Out of Memory (CUDA OOM)

RuntimeError: CUDA out of memory

Решения:

• Уменьшите количество кадров (попробуйте 8 вместо 16)

• Уменьшите разрешение (512×512 — оптимальный выбор для SD 1.5)

• Включите --lowvram флаг в команде запуска ComfyUI

• Используйте fp16 точность в Загрузить чекпойнт узле

Модуль движения не найден

Ошибка: модуль движения не найден

Решение: Проверьте, что .ckpt файл находится в:

/workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

Обновите страницу ComfyUI, чтобы перезагрузить доступные модели.

Мерцание / Несогласованные кадры

Решения:

• Увеличьте context_length чтобы совпадала с общим количеством кадров

• Используйте v3_sd15_mm.ckpt вместо v2 (лучшее временное согласование)

• Понизьте CFG scale (попробуйте 7 вместо 9)

• Используйте сэмплер с меньшей дисперсией: DPM++ 2M Karras или Euler a

SSH: соединение отклонено

ssh: connect to host <ip> port <port>: Connection refused

Решение: Подождите 1–2 минуты, пока демона SSH не запустится, или проверьте, полностью ли контейнер инициализировался через логи на панели Clore.ai.

---

Рекомендации Clore.ai по GPU

AnimateDiff использует основу SD 1.5 — требования к видеопамяти умеренные по сравнению с современными видео-моделями, что делает его экономичным вариантом.

GPU	VRAM	Цена Clore.ai	16 кадров @ 512px	Примечания
RTX 3090	24 ГБ	~$0.12/ч	~50с	Лучшее соотношение — запуск нескольких очередей пакетов
RTX 4090	24 ГБ	~$0.70/ч	~30 с	Самый быстрый потребительский GPU
A100 40GB	40 ГБ	~$1.20/ч	~18с	Избыточно для SD 1.5, но хорош для SDXL+AnimateDiff
RTX 3080 10GB	10 ГБ	~$0.07/час	~90с	Бюджетный минимум — ограничен 512px, более короткие клипы

RTX 3090 — оптимальный выбор для AnimateDiff примерно за ~$0.12/час. 16-кадровая анимация занимает ~50 секунд, что позволяет сгенерировать более 70 клипов за потраченный доллар. Для массового создания контента ставьте задания в очередь в ComfyUI и запускайте на ночь.

Пользователи SDXL AnimateDiff: Модули движения для SDXL требуют 12 ГБ+ VRAM для 768px. RTX 3090/4090 хорошо с этим справляются. RTX 3080 (10 ГБ) слишком ограничен для SDXL-воркфлоу.

---

Полезные ресурсы

• AnimateDiff на GitHub

• ComfyUI-AnimateDiff-Evolved

• Официальный ComfyUI

• Модели движения AnimateDiff (HuggingFace)

• CivitAI — SD чекпойнты