> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-ru/generaciya-video/animatediff.md). # AnimateDiff AnimateDiff — это модуль plug-and-play, который **анимирует ваши существующие модели Stable Diffusion** без какого-либо дополнительного обучения. Имея более 10 000 звёзд на GitHub, это основной фреймворк для преобразования статичных SD-чекпойнтов в плавные видеогенераторы с временной согласованностью. Запустите его на GPU-инстансе Clore.ai, используя ComfyUI в качестве фронтенда для максимальной гибкости. *** ## Что такое AnimateDiff? AnimateDiff вставляет **модуль движения** в замороженный U-Net Stable Diffusion. Модуль движения обучается один раз на видеоданных и может быть объединён с любым дообученным чекпойнтом SD 1.5 — моделями DreamBooth, LoRA, адаптерами ControlNet — без повторного обучения. Результат — короткие анимированные клипы (обычно 16–32 кадра при 8 fps), которые сохраняют стиль базовой модели. **Ключевые моменты:** * Работает с любым чекпойнтом SD 1.5 сразу из коробки * Совместим с ControlNet, IP-Adapter, LoRA и другими расширениями * Экосистема узлов ComfyUI обеспечивает полный контроль над конвейером * Для более высокого разрешения доступны модули движения SDXL * Поддерживаемый сообществом набор моделей со специализированными модулями движения *** ## Предварительные требования | Требование | Минимум | Рекомендуется | | ---------- | -------- | --------------- | | VRAM GPU | 8 ГБ | 16–24 ГБ | | GPU | RTX 3080 | RTX 4090 / A100 | | ОЗУ | 16 ГБ | 32 ГБ | | Хранилище | 20 ГБ | 50+ ГБ | {% hint style="info" %} AnimateDiff со стандартной последовательностью из 16 кадров при 512×512 потребляет примерно 8–10 ГБ VRAM. Для 768×768 или более длинных последовательностей рекомендуется 16+ ГБ. {% endhint %} *** ## Шаг 1 — Арендуйте GPU на Clore.ai 1. Перейдите на [маркетплейсе clore.ai](https://clore.ai) и войдите в систему. 2. Нажмите **Маркетплейс** и отфильтруйте по VRAM (≥ 16 ГБ для лучших результатов). 3. Выберите сервер — RTX 4090 или A6000 предлагает лучшее соотношение цены и производительности. 4. В **Docker-образ**, введите свой пользовательский образ (см. шаг 2 ниже). 5. Настроить **открытые порты**: `22` (SSH) и `8188` (веб-интерфейс ComfyUI). 6. Нажмите **Аренда** и дождитесь запуска инстанса (\~1–2 минуты). {% hint style="info" %} Используйте **Продвинутый** настройка портов для сопоставления порта `8188` с общедоступным портом. Запомните назначенный общедоступный порт — он понадобится для доступа к веб-интерфейсу ComfyUI. {% endhint %} *** ## Шаг 2 — Docker-образ Единого официального Docker-образа AnimateDiff не существует. Рекомендуется использовать **образ на основе ComfyUI** с предустановленными узлами AnimateDiff. **Рекомендуемый публичный образ:** ``` yanwk/comfyui-boot:latest ``` Или соберите свой: ```dockerfile FROM pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime RUN apt-get update && apt-get install -y \\ git wget curl ffmpeg libgl1 libglib2.0-0 \ openssh-server && \ rm -rf /var/lib/apt/lists/* # Настройка SSH RUN mkdir /var/run/sshd && \\ echo 'root:clore123' | chpasswd && \\ sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config # Клонировать ComfyUI RUN git clone https://github.com/comfyanonymous/ComfyUI /workspace/ComfyUI && \ cd /workspace/ComfyUI && pip install -r requirements.txt # Установить ComfyUI Manager RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/ltdrdata/ComfyUI-Manager # Установить узлы AnimateDiff-Evolved RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved && \ pip install -r ComfyUI-AnimateDiff-Evolved/requirements.txt # Установить VideoHelperSuite для вывода RUN cd /workspace/ComfyUI/custom_nodes && \ git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite && \ pip install -r ComfyUI-VideoHelperSuite/requirements.txt EXPOSE 22 8188 CMD service ssh start && \\ python /workspace/ComfyUI/main.py --listen 0.0.0.0 --port 8188 --enable-cors-header ``` *** ## Шаг 3 — Подключение по SSH После запуска инстанса подключитесь по SSH, чтобы загрузить модели: ```bash ssh root@ -p ``` Замените `` и `` с значениями, указанными в вашей панели управления Clore.ai. *** ## Шаг 4 — Загрузка моделей Для AnimateDiff минимально требуется **базовый чекпойнт SD 1.5** и **модуль движения**. ### Скачать модуль движения ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models # модуль движения v3 (рекомендуется) wget -O v3_sd15_mm.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt" # модуль движения v2 (более широкая совместимость) wget -O mm_sd_v15_v2.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt" ``` ### Скачать базовый чекпойнт SD 1.5 ```bash cd /workspace/ComfyUI/models/checkpoints # Realistic Vision (популярен для AnimateDiff) wget -O realisticVisionV60B1_v51VAE.safetensors \ "https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/resolve/main/Realistic_Vision_V6.0_B1_fp16-no-ema.safetensors" ``` {% hint style="info" %} Можно использовать любой дообученный SD 1.5. Популярные варианты включают DreamShaper, Deliberate и Epicphotogasm. Скачайте их с CivitAI или Hugging Face. {% endhint %} ### (Необязательно) Скачать модуль движения SDXL ```bash cd /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models wget -O temporaldiff-v1-animatediff.safetensors \ "https://huggingface.co/CiaraRowles/TemporalDiff/resolve/main/temporaldiff-v1-animatediff.safetensors" ``` *** ## Шаг 5 — Доступ к ComfyUI Откройте браузер и перейдите по адресу: ``` http://: ``` Вы должны увидеть интерфейс редактора узлов ComfyUI. {% hint style="info" %} Добавьте этот URL в закладки. ComfyUI автоматически сохраняет ваш workflow по мере работы — вручную сохранять не нужно, если только вы не экспортируете JSON. {% endhint %} *** ## Шаг 6 — Загрузите workflow AnimateDiff ### Базовый workflow AnimateDiff (JSON) В ComfyUI нажмите **Загрузить** и вставьте или импортируйте этот JSON workflow, либо соберите его вручную с помощью этих узлов: **Основная цепочка узлов:** 1. `Load Checkpoint` → ваш чекпойнт SD 1.5 2. `CLIP Text Encode (Промпт)` → положительные и отрицательные промпты 3. `Загрузчик AnimateDiff` → выберите ваш модуль движения 4. `KSampler (Эффективный)` → настройки сэмплирования 5. `VAE Decode` → декодирование латентов 6. `Объединение видео` (VideoHelperSuite) → экспорт в GIF/MP4 ### Рекомендуемые настройки сэмплирования | Параметр | Значение | | --------------- | --------------- | | Шаги | 20–25 | | Масштаб CFG | 7–8 | | Сэмплер | DPM++ 2M Karras | | Ширина × Высота | 512 × 512 | | Кадры | 16 | | Длина контекста | 16 | *** ## Шаг 7 — Запустите свою первую анимацию 1. В `CLIP Text Encode` узле, введите свой промпт: ``` Величественный лев, идущий через высокую траву на закате, кинематографично, 4k ``` 2. В узле отрицательного промпта: ``` худшее качество, низкое качество, размыто, водяной знак, деформированное, nsfw ``` 3. В `Загрузчик AnimateDiff`, выберите `v3_sd15_mm.ckpt` 4. Нажмите **Поставить запрос в очередь** {% hint style="info" %} Время генерации 16 кадров при 512×512 и 20 шагах составляет примерно **30–60 секунд** на RTX 4090. Более длинные последовательности и более высокие разрешения масштабируются линейно. {% endhint %} *** ## Продвинутые техники ### Использование ControlNet с AnimateDiff AnimateDiff работает с ControlNet для управляемой генерации видео: ```bash # Скачать модель ControlNet cd /workspace/ComfyUI/models/controlnet wget -O control_v11p_sd15_openpose.pth \ "https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth" ``` Добавьте `Применение ControlNet` узел между `Загрузка модели ControlNet` и `KSampler`. Используйте изображение скелета OpenPose в качестве управляющего входа. ### Путешествие промпта (анимация по ключевым кадрам) Узел AnimateDiff-Evolved поддерживает **путешествие промпта** — разные текстовые промпты в разных кадрах: ``` "Лес на рассвете" → кадр 0 "Лес в полдень" → кадр 8 "Лес на закате" → кадр 16 ``` Это создаёт плавные переходы между сценами без ручной расстановки ключевых кадров. ### Использование LoRA с AnimateDiff ```bash # Скачать motion LoRA cd /workspace/ComfyUI/models/loras wget -O v2_lora_PanLeft.ckpt \ "https://huggingface.co/guoyww/animatediff/resolve/main/v2_lora_PanLeft.ckpt" ``` Добавьте `Загрузчик LoRA` узел для применения эффектов движения камеры: PanLeft, PanRight, ZoomIn, ZoomOut, RollingAnticlockwise. *** ## Форматы вывода AnimateDiff через VideoHelperSuite поддерживает: | Формат | Узел | Примечания | | ---------- | ------------------- | -------------------------------------- | | GIF | `Объединение видео` | Лучше всего для обмена | | MP4 (h264) | `Объединение видео` | Наименьший размер файла | | WebP | `Объединение видео` | Хорошее соотношение качества и размера | | Кадры PNG | `Save Image` | Для постобработки | *** ## Устранение неполадок ### Недостаточно памяти (CUDA OOM) ``` RuntimeError: недостаточно памяти CUDA ``` **Решения:** * Уменьшите количество кадров (попробуйте 8 вместо 16) * Снизьте разрешение (512×512 — оптимальный вариант для SD 1.5) * Включите `--lowvram` флаг в команде запуска ComfyUI * Используйте `fp16` точность в `Load Checkpoint` узел ### Модуль движения не найден ``` Ошибка: модуль движения не найден ``` **Решение:** Проверьте `.ckpt` что файл находится в: ``` /workspace/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/ ``` Обновите страницу ComfyUI, чтобы перезагрузить доступные модели. ### Мерцание / Непоследовательные кадры **Решения:** * Увеличьте `context_length` чтобы соответствовать общему числу кадров * Используйте `v3_sd15_mm.ckpt` вместо v2 (лучшая временная согласованность) * Снизьте масштаб CFG (попробуйте 7 вместо 9) * Используйте сэмплер с меньшей вариативностью: `DPM++ 2M Karras` или `Euler a` ### SSH: соединение отклонено ```bash ssh: connect to host port : соединение отклонено ``` **Решение:** Подождите 1–2 минуты, пока запустится SSH-демон, или проверьте в журналах панели Clore.ai, полностью ли инициализировался контейнер. *** ## Рекомендации по GPU для Clore.ai AnimateDiff использует базовую архитектуру SD 1.5 — требования к VRAM скромные по сравнению с современными видеомоделями, что делает его бюджетным вариантом. | GPU | VRAM | Цена Clore.ai | 16 кадров @ 512 px | Примечания | | ------------- | ----- | ------------------------------------------- | ------------------ | --------------------------------------------------------------------------- | | RTX 3090 | 24 ГБ | $0.07–0.21/ч | \~50 с | Лучшее соотношение цены и качества — запускайте несколько пакетов в очереди | | RTX 4090 | 24 ГБ | $0.14–0.42/ч | \~30с | Самый быстрый потребительский GPU | | A100 40 ГБ | 40 ГБ | [голое железо](https://clore.ai/bare-metal) | \~18 с | Избыточно для SD 1.5, но хорошо подходит для SDXL+AnimateDiff | | RTX 3080 10GB | 10 ГБ | $0.05–0.19/ч | \~90 с | Минимальный бюджет — ограничение до 512 px, более короткие клипы | {% hint style="info" %} **RTX 3090 — оптимальный вариант для AnimateDiff** по цене $0.07–0.21/час. Анимация из 16 кадров занимает \~50 секунд, то есть вы можете создавать 70+ клипов на каждый потраченный доллар. Для массового создания контента ставьте пакетную очередь в ComfyUI и запускайте на ночь. {% endhint %} **Пользователям SDXL AnimateDiff:** Модули движения SDXL требуют более 12 ГБ VRAM для 768 px. RTX 3090/4090 хорошо с этим справляются. RTX 3080 (10 ГБ) слишком ограничена для рабочих процессов SDXL. *** ## Полезные ресурсы * [GitHub AnimateDiff](https://github.com/guoyww/AnimateDiff) * [ComfyUI-AnimateDiff-Evolved](https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved) * [Официальный ComfyUI](https://github.com/comfyanonymous/ComfyUI) * [Модели движения AnimateDiff (HuggingFace)](https://huggingface.co/guoyww/animatediff) * [CivitAI — SD-чекпойнты](https://civitai.com) --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.clore.ai/guides/guides_v2-ru/generaciya-video/animatediff.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.