> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-ru/nachalo-raboty/docker-images.md).

# Docker-образы

Готовые к развертыванию Docker-образы для AI-нагрузок на CLORE.AI.

{% hint style="success" %}
Разверните эти образы напрямую на [CLORE.AI Marketplace](https://clore.ai/marketplace).
{% endhint %}

## Быстрая ссылка для развертывания

### Самые популярные

| Задача                                | Образ                                | Порты     |
| ------------------------------------- | ------------------------------------ | --------- |
| Чат с ИИ                              | `ollama/ollama`                      | 22, 11434 |
| Интерфейс, похожий на ChatGPT         | `ghcr.io/open-webui/open-webui`      | 22, 8080  |
| Генерация изображений                 | `universonic/stable-diffusion-webui` | 22, 7860  |
| Генерация изображений на основе узлов | `yanwk/comfyui-boot`                 | 22, 8188  |
| LLM API сервер                        | `vllm/vllm-openai`                   | 22, 8000  |

***

## Языковые модели

### Ollama

**Универсальный исполнитель LLM — самый простой способ запускать любую модель.**

```
Образ: ollama/ollama
Порты: 22/tcp, 11434/http
Команда: ollama serve
```

**После развертывания:**

```bash
# SSH на сервер
ssh -p <port> root@<proxy>

# Загрузить и запустить модель
ollama pull llama3.2
ollama run llama3.2
```

**Переменные окружения:**

```
OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models
```

***

### Открыть WebUI

**Интерфейс, похожий на ChatGPT, для Ollama.**

```
Образ: ghcr.io/open-webui/open-webui:ollama
Порты: 22/tcp, 8080/http
```

Включает встроенный Ollama. Доступ через HTTP-порт.

**Автономный (подключиться к существующему Ollama):**

```
Образ: ghcr.io/open-webui/open-webui:main
Порты: 22/tcp, 8080/http
Окружение: OLLAMA_BASE_URL=http://localhost:11434
```

***

### vLLM

**Высокопроизводительная подача LLM с API, совместимым с OpenAI.**

```
Образ: vllm/vllm-openai:latest
Порты: 22/tcp, 8000/http
Команда: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0
```

**Для больших моделей (много GPU):**

```bash
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2 \
    --host 0.0.0.0
```

**Переменные окружения:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>  # Для моделей с доступом по токену
```

***

### Text Generation Inference (TGI)

**Производственный LLM-сервер от HuggingFace.**

```
Образ: ghcr.io/huggingface/text-generation-inference:latest
Порты: 22/tcp, 8080/http
Команда: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct
```

**Переменные окружения:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192
```

***

## Генерация изображений

### Stable Diffusion WebUI (AUTOMATIC1111)

**Самый популярный интерфейс SD с расширениями.**

```
Образ: universonic/stable-diffusion-webui:latest
Порты: 22/tcp, 7860/http
```

**Для низкого объёма видеопамяти (8 ГБ или меньше):**

```bash
./webui.sh --listen --medvram --xformers
```

**Для доступа через API:**

```bash
./webui.sh --listen --xformers --api
```

***

### ComfyUI

**Рабочий процесс на основе узлов для продвинутых пользователей.**

```
Образ: yanwk/comfyui-boot:cu126-slim
Порты: 22/tcp, 8188/http
Окружение: CLI_ARGS=--listen 0.0.0.0
```

**Альтернативные образы:**

```
# С общими расширениями
Образ: ai-dock/comfyui:latest

# Минимальный
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
```

**Команда ручной настройки:**

```bash
git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0
```

***

### Fooocus

**Упрощённый интерфейс SD, похожий на Midjourney.**

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp, 7865/http
Команда: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen
```

***

### FLUX

**Новейшая генерация изображений высокого качества.**

Используйте ComfyUI с узлами FLUX:

```
Образ: yanwk/comfyui-boot:cu126-slim
Порты: 22/tcp, 8188/http
```

Или через Diffusers:

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp
```

```python
# После SSH
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("A cat", num_inference_steps=4).images[0]
image.save("output.png")
EOF
```

***

## Генерация видео

### Stable Video Diffusion

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF
```

***

### AnimateDiff

Использование с ComfyUI:

```
Образ: yanwk/comfyui-boot:cu126-slim
Порты: 22/tcp, 8188/http
```

Установите узлы AnimateDiff через ComfyUI Manager.

***

## Аудио и голос

### Whisper (транскрипция)

```
Образ: onerahmet/openai-whisper-asr-webservice:latest
Порты: 22/tcp, 9000/http
Окружение: ASR_MODEL=large-v3
```

**Использование API:**

```bash
curl -X POST "http://localhost:9000/asr" \
    -F "audio_file=@audio.mp3" \
    -F "task=transcribe"
```

***

### Bark (Text-to-Speech)

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hello, this is a test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF
```

***

### Stable Audio

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install stable-audio-tools
# Требуется токен HF для доступа к модели
```

***

## Модели зрения

### LLaVA

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp
```

```bash
pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b
```

***

### Llama 3.2 Vision

Используйте Ollama:

```
Образ: ollama/ollama
Порты: 22/tcp, 11434/http
```

```bash
ollama pull llama3.2-vision
ollama run llama3.2-vision "describe this image" --images photo.jpg
```

***

## Разработка и обучение

### Базовый PyTorch

**Для пользовательских настроек и обучения.**

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp
```

Включает: CUDA 12.1, cuDNN 8, PyTorch 2.1

***

### Jupyter Lab

**Интерактивные ноутбуки для ML.**

```
Образ: jupyter/pytorch-notebook:cuda12-pytorch-2.1
Порты: 22/tcp, 8888/http
```

Или используйте базовый PyTorch с Jupyter:

```bash
pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser
```

***

### Обучение Kohya

**Для LoRA и дообучения моделей.**

```
Образ: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
Порты: 22/tcp
```

```bash
git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# Используйте скрипты обучения
```

***

## Справочник базовых образов

### Официальные NVIDIA

| Образ                                    | CUDA | Случай использования                 |
| ---------------------------------------- | ---- | ------------------------------------ |
| `nvidia/cuda:12.1.0-devel-ubuntu22.04`   | 12.1 | Разработка CUDA                      |
| `nvidia/cuda:12.1.0-runtime-ubuntu22.04` | 12.1 | Только runtime CUDA                  |
| `nvidia/cuda:11.8.0-devel-ubuntu22.04`   | 11.8 | Совместимость с устаревшими версиями |

### Официальный PyTorch

| Образ                                          | PyTorch | CUDA |
| ---------------------------------------------- | ------- | ---- |
| `pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel`  | 2.5     | 12.4 |
| `pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel`  | 2.0     | 11.7 |
| `pytorch/pytorch:1.13.1-cuda11.6-cudnn8-devel` | 1.13    | 11.6 |

### HuggingFace

| Образ                                           | Назначение             |
| ----------------------------------------------- | ---------------------- |
| `huggingface/transformers-pytorch-gpu`          | Transformers + PyTorch |
| `ghcr.io/huggingface/text-generation-inference` | TGI сервер             |

***

## Переменные окружения

### Общие переменные

| Переменная               | Описание                                      | Пример         |
| ------------------------ | --------------------------------------------- | -------------- |
| `HUGGING_FACE_HUB_TOKEN` | HF API токен для моделей с доступом по токену | `hf_xxx`       |
| `CUDA_VISIBLE_DEVICES`   | Выбор GPU                                     | `0,1`          |
| `TRANSFORMERS_CACHE`     | Каталог кеша моделей                          | `/root/.cache` |

### Переменные Ollama

| Переменная            | Описание             | По умолчанию       |
| --------------------- | -------------------- | ------------------ |
| `OLLAMA_HOST`         | Адрес привязки       | `127.0.0.1`        |
| `OLLAMA_MODELS`       | Каталог моделей      | `~/.ollama/models` |
| `OLLAMA_NUM_PARALLEL` | Параллельные запросы | `1`                |

### Переменные vLLM

| Переменная               | Описание                          |
| ------------------------ | --------------------------------- |
| `VLLM_ATTENTION_BACKEND` | Реализация attention              |
| `VLLM_USE_MODELSCOPE`    | Использовать ModelScope вместо HF |

***

## Справочник портов

| Порт  | Протокол | Сервис                     |
| ----- | -------- | -------------------------- |
| 22    | TCP      | SSH                        |
| 7860  | HTTP     | Gradio (SD WebUI, Fooocus) |
| 7865  | HTTP     | Альтернатива Fooocus       |
| 8000  | HTTP     | vLLM API                   |
| 8080  | HTTP     | Open WebUI, TGI            |
| 8188  | HTTP     | ComfyUI                    |
| 8888  | HTTP     | Jupyter                    |
| 9000  | HTTP     | Whisper API                |
| 11434 | TCP      | Ollama API                 |

***

## Советы

### Постоянное хранилище

Подключайте тома, чтобы сохранять данные между перезапусками:

```bash
docker run -v /data/models:/root/.cache/huggingface ...
```

### Выбор GPU

Для систем с несколькими GPU:

```bash
docker run --gpus '"device=0,1"' ...
# или
CUDA_VISIBLE_DEVICES=0,1
```

### Управление памятью

Если заканчивается видеопамять (VRAM):

1. Используйте меньшие модели
2. Включить выгрузку на CPU
3. Уменьшите размер батча
4. Используйте квантизованные модели (GGUF Q4)

## Дальнейшие шаги

* [Сравнение GPU](/guides/guides_v2-ru/nachalo-raboty/gpu-comparison.md) - Выберите подходящий GPU
* [Совместимость моделей](/guides/guides_v2-ru/nachalo-raboty/model-compatibility.md) - Что где запускается
* [Руководство по быстрому старту](/guides/guides_v2-ru/quickstart.md) - Начните за 5 минут


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-ru/nachalo-raboty/docker-images.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.