> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-hi/getting-started/docker-images.md).

# Docker छवियाँ

CLORE.AI पर AI वर्कलोड के लिए तैनात करने के लिए तैयार Docker इमेजें।

{% hint style="success" %}
इन इमेजों को सीधे पर तैनात करें [CLORE.AI मार्केटप्लेस](https://clore.ai/marketplace).
{% endhint %}

## त्वरित तैनाती संदर्भ

### सबसे लोकप्रिय

| कार्य                  | इमेज                                 | पोर्ट्स   |
| ---------------------- | ------------------------------------ | --------- |
| AI के साथ चैट करें     | `ollama/ollama`                      | 22, 11434 |
| ChatGPT- जैसे UI       | `ghcr.io/open-webui/open-webui`      | 22, 8080  |
| इमेज जनरेशन            | `universonic/stable-diffusion-webui` | 22, 7860  |
| नोड-आधारित इमेज जनरेशन | `yanwk/comfyui-boot`                 | 22, 8188  |
| LLM API सर्वर          | `vllm/vllm-openai`                   | 22, 8000  |

***

## भाषा मॉडल

### Ollama

**यूनिवर्सल LLM रनर - किसी भी मॉडल को चलाने का सबसे आसान तरीका।**

```
इमेज: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http
कमांड: ollama serve
```

**तैनाती के बाद:**

```bash
# सर्वर में SSH करें
ssh -p <port> root@<proxy>

# एक मॉडल पुल और रन करें
ollama pull llama3.2
ollama run llama3.2
```

**पर्यावरण चर:**

```
OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models
```

***

### वेबUI खोलें

**Ollama के लिए ChatGPT- जैसा इंटरफ़ेस।**

```
इमेज: ghcr.io/open-webui/open-webui:ollama
पोर्ट: 22/tcp, 8080/http
```

Ollama बिल्ट-इन शामिल है। HTTP पोर्ट के माध्यम से एक्सेस करें।

**स्टैंडअलोन (मौजूदा Ollama से कनेक्ट करें):**

```
इमेज: ghcr.io/open-webui/open-webui:main
पोर्ट: 22/tcp, 8080/http
एनवायरनमेंट: OLLAMA_BASE_URL=http://localhost:11434
```

***

### vLLM

**OpenAI-संगत API के साथ उच्च-प्रदर्शन LLM सर्विंग।**

```
इमेज: vllm/vllm-openai:latest
पोर्ट्स: 22/tcp, 8000/http
कमांड: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0
```

**बड़े मॉडलों (मल्टी-GPU) के लिए:**

```bash
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2 \
    --host 0.0.0.0
```

**पर्यावरण चर:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>  # गेटेड मॉडलों के लिए
```

***

### Text Generation Inference (TGI)

**HuggingFace का प्रोडक्शन LLM सर्वर।**

```
इमेज: ghcr.io/huggingface/text-generation-inference:latest
पोर्ट: 22/tcp, 8080/http
कमांड: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct
```

**पर्यावरण चर:**

```
HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192
```

***

## इमेज जनरेशन

### Stable Diffusion WebUI (AUTOMATIC1111)

**एक्सटेंशन के साथ सबसे लोकप्रिय SD इंटरफ़ेस।**

```
इमेज: universonic/stable-diffusion-webui:latest
पोर्ट्स: 22/tcp, 7860/http
```

**कम VRAM (8GB या उससे कम) के लिए:**

```bash
./webui.sh --listen --medvram --xformers
```

**API एक्सेस के लिए:**

```bash
./webui.sh --listen --xformers --api
```

***

### ComfyUI

**उन्नत उपयोगकर्ताओं के लिए नोड-आधारित वर्कफ्लो।**

```
इमेज: yanwk/comfyui-boot:cu126-slim
पोर्ट: 22/tcp, 8188/http
पर्यावरण: CLI_ARGS=--listen 0.0.0.0
```

**वैकल्पिक इमेजें:**

```
# सामान्य एक्सटेंशनों के साथ
इमेज: ai-dock/comfyui:latest

# न्यूनतम
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
```

**मैनुअल सेटअप कमांड:**

```bash
git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0
```

***

### Fooocus

**सरलीकृत SD इंटरफ़ेस, Midjourney- जैसा।**

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट: 22/tcp, 7865/http
कमांड: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen
```

***

### FLUX

**नवीनतम उच्च-गुणवत्ता इमेज जनरेशन।**

FLUX नोड्स के साथ ComfyUI का उपयोग करें:

```
इमेज: yanwk/comfyui-boot:cu126-slim
पोर्ट: 22/tcp, 8188/http
```

या Diffusers के माध्यम से:

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp
```

```python
# SSH के बाद
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("A cat", num_inference_steps=4).images[0]
image.save("output.png")
EOF
```

***

## वीडियो जेनेरेशन

### Stable Video Diffusion

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF
```

***

### AnimateDiff

ComfyUI के साथ उपयोग करें:

```
इमेज: yanwk/comfyui-boot:cu126-slim
पोर्ट: 22/tcp, 8188/http
```

ComfyUI मैनेजर के माध्यम से AnimateDiff नोड्स स्थापित करें।

***

## ऑडियो और वॉइस

### Whisper (ट्रांसक्रिप्शन)

```
इमेज: onerahmet/openai-whisper-asr-webservice:latest
पोर्ट्स: 22/tcp, 9000/http
पर्यावरण: ASR_MODEL=large-v3
```

**API उपयोग:**

```bash
curl -X POST "http://localhost:9000/asr" \
    -F "audio_file=@audio.mp3" \
    -F "task=transcribe"
```

***

### Bark (टेक्स्ट-टू-स्पीच)

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hello, this is a test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF
```

***

### Stable Audio

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install stable-audio-tools
# मॉडल एक्सेस के लिए HF टोकन आवश्यक है
```

***

## विजन मॉडल

### LLaVA

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b
```

***

### Llama 3.2 Vision

Ollama का उपयोग करें:

```
इमेज: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http
```

```bash
ollama pull llama3.2-vision
ollama run llama3.2-vision "describe this image" --images photo.jpg
```

***

## डेवलपमेंट और प्रशिक्षण

### PyTorch बेस

**कस्टम सेटअप और प्रशिक्षण के लिए।**

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp
```

शामिल हैं: CUDA 12.1, cuDNN 8, PyTorch 2.1

***

### Jupyter Lab

**ML के लिए इंटरैक्टिव नोटबुक।**

```
इमेज: jupyter/pytorch-notebook:cuda12-pytorch-2.1
पोर्ट्स: 22/tcp, 8888/http
```

या Jupyter के साथ PyTorch बेस का उपयोग करें:

```bash
pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser
```

***

### Kohya प्रशिक्षण

**LoRA और मॉडल फाइन-ट्यूनिंग के लिए।**

```
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp
```

```bash
git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# प्रशिक्षण स्क्रिप्ट्स का उपयोग करें
```

***

## बेस इमेजेस संदर्भ

### NVIDIA आधिकारिक

| इमेज                                     | CUDA | उपयोग का मामला   |
| ---------------------------------------- | ---- | ---------------- |
| `nvidia/cuda:12.1.0-devel-ubuntu22.04`   | 12.1 | CUDA डेवलपमेंट   |
| `nvidia/cuda:12.1.0-runtime-ubuntu22.04` | 12.1 | केवल CUDA रनटाइम |
| `nvidia/cuda:11.8.0-devel-ubuntu22.04`   | 11.8 | लेगेसी संगतता    |

### PyTorch आधिकारिक

| इमेज                                           | PyTorch | CUDA |
| ---------------------------------------------- | ------- | ---- |
| `pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel`  | 2.5     | 12.4 |
| `pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel`  | 2.0     | 11.7 |
| `pytorch/pytorch:1.13.1-cuda11.6-cudnn8-devel` | 1.13    | 11.6 |

### HuggingFace

| इमेज                                            | उद्देश्य               |
| ----------------------------------------------- | ---------------------- |
| `huggingface/transformers-pytorch-gpu`          | Transformers + PyTorch |
| `ghcr.io/huggingface/text-generation-inference` | TGI सर्वर              |

***

## पर्यावरण चर

### सामान्य वेरिएबल्स

| वैरिएबल                  | विवरण                           | उदाहरण         |
| ------------------------ | ------------------------------- | -------------- |
| `HUGGING_FACE_HUB_TOKEN` | गेटेड मॉडलों के लिए HF API टोकन | `hf_xxx`       |
| `CUDA_VISIBLE_DEVICES`   | GPU चयन                         | `0,1`          |
| `TRANSFORMERS_CACHE`     | मॉडल कैश निर्देशिका             | `/root/.cache` |

### Ollama वेरिएबल्स

| वैरिएबल               | विवरण                | डिफ़ॉल्ट           |
| --------------------- | -------------------- | ------------------ |
| `OLLAMA_HOST`         | बाइंड पता            | `127.0.0.1`        |
| `OLLAMA_MODELS`       | मॉडलों की निर्देशिका | `~/.ollama/models` |
| `OLLAMA_NUM_PARALLEL` | समानांतर अनुरोध      | `1`                |

### vLLM वेरिएबल्स

| वैरिएबल                  | विवरण                               |
| ------------------------ | ----------------------------------- |
| `VLLM_ATTENTION_BACKEND` | अटेंशन इम्प्लीमेंटेशन               |
| `VLLM_USE_MODELSCOPE`    | HF के बजाय ModelScope का उपयोग करें |

***

## पोर्ट संदर्भ

| पोर्ट | प्रोटोकॉल | सेवा                       |
| ----- | --------- | -------------------------- |
| 22    | TCP       | SSH                        |
| 7860  | HTTP      | Gradio (SD WebUI, Fooocus) |
| 7865  | HTTP      | Fooocus वैकल्पिक           |
| 8000  | HTTP      | vLLM API                   |
| 8080  | HTTP      | Open WebUI, TGI            |
| 8188  | HTTP      | ComfyUI                    |
| 8888  | HTTP      | Jupyter                    |
| 9000  | HTTP      | Whisper API                |
| 11434 | TCP       | Ollama API                 |

***

## टिप्स

### स्थायी स्टोरेज

रिस्टार्ट्स के बीच डेटा रखने के लिए वॉल्यूम माउंट करें:

```bash
docker run -v /data/models:/root/.cache/huggingface ...
```

### GPU चयन

मल्टी-GPU सिस्टम के लिए:

```bash
docker run --gpus '"device=0,1"' ...
# या
CUDA_VISIBLE_DEVICES=0,1
```

### मेमोरी प्रबंधन

यदि VRAM की कमी हो रही है:

1. छोटे मॉडल का उपयोग करें
2. CPU ऑफलोड सक्षम करें
3. बैच साइज घटाएँ
4. क्वांटाइज़्ड मॉडल का उपयोग करें (GGUF Q4)

## अगले कदम

* [GPU तुलना](/guides/guides_v2-hi/getting-started/gpu-comparison.md) - सही GPU चुनें
* [मॉडल संगतता](/guides/guides_v2-hi/getting-started/model-compatibility.md) - कौन कहाँ चलता है
* [क्विकस्टार्ट गाइड](/guides/guides_v2-hi/quickstart.md) - 5 मिनट में शुरू करें


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-hi/getting-started/docker-images.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.