Docker इमेज

Clore.ai पर AI वर्कलोड्स के लिए तैनात करने के लिए तैयार Docker इमेज

CLORE.AI पर AI वर्कलोड के लिए तैनात करने के लिए तैयार Docker इमेजें।

इन इमेजों को सीधे पर तैनात करें CLORE.AI मार्केटप्लेस.

त्वरित तैनाती संदर्भ

सबसे लोकप्रिय

कार्य	इमेज	पोर्ट्स
AI के साथ चैट करें	ollama/ollama	22, 11434
ChatGPT- जैसे UI	ghcr.io/open-webui/open-webui	22, 8080
इमेज जनरेशन	universonic/stable-diffusion-webui	22, 7860
नोड-आधारित इमेज जनरेशन	yanwk/comfyui-boot	22, 8188
LLM API सर्वर	vllm/vllm-openai	22, 8000

---

भाषा मॉडल

Ollama

यूनिवर्सल LLM रनर - किसी भी मॉडल को चलाने का सबसे आसान तरीका।

इमेज: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http
कमांड: ollama serve

तैनाती के बाद:

# सर्वर में SSH करें
ssh -p <port> root@<proxy>

# एक मॉडल पुल और रन करें
ollama pull llama3.2
ollama run llama3.2

पर्यावरण चर:

OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/root/.ollama/models

---

वेबUI खोलें

Ollama के लिए ChatGPT- जैसा इंटरफ़ेस।

इमेज: ghcr.io/open-webui/open-webui:ollama
पोर्ट: 22/tcp, 8080/http

Ollama बिल्ट-इन शामिल है। HTTP पोर्ट के माध्यम से एक्सेस करें।

स्टैंडअलोन (मौजूदा Ollama से कनेक्ट करें):

इमेज: ghcr.io/open-webui/open-webui:main
पोर्ट: 22/tcp, 8080/http
एनवायरनमेंट: OLLAMA_BASE_URL=http://localhost:11434

---

vLLM

OpenAI-संगत API के साथ उच्च-प्रदर्शन LLM सर्विंग।

इमेज: vllm/vllm-openai:latest
पोर्ट्स: 22/tcp, 8000/http
कमांड: python -m vllm.entrypoints.openai.api_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0

बड़े मॉडलों (मल्टी-GPU) के लिए:

python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3.1-70B-Instruct \
    --tensor-parallel-size 2 \
    --host 0.0.0.0

पर्यावरण चर:

HUGGING_FACE_HUB_TOKEN=<your-token>  # गेटेड मॉडलों के लिए

---

Text Generation Inference (TGI)

HuggingFace का प्रोडक्शन LLM सर्वर।

इमेज: ghcr.io/huggingface/text-generation-inference:latest
पोर्ट: 22/tcp, 8080/http
कमांड: --model-id meta-llama/Meta-Llama-3.1-8B-Instruct

पर्यावरण चर:

HUGGING_FACE_HUB_TOKEN=<your-token>
MAX_INPUT_LENGTH=4096
MAX_TOTAL_TOKENS=8192

---

इमेज जनरेशन

Stable Diffusion WebUI (AUTOMATIC1111)

एक्सटेंशन के साथ सबसे लोकप्रिय SD इंटरफ़ेस।

इमेज: universonic/stable-diffusion-webui:latest
पोर्ट्स: 22/tcp, 7860/http

कम VRAM (8GB या उससे कम) के लिए:

./webui.sh --listen --medvram --xformers

API एक्सेस के लिए:

./webui.sh --listen --xformers --api

---

ComfyUI

उन्नत उपयोगकर्ताओं के लिए नोड-आधारित वर्कफ्लो।

इमेज: yanwk/comfyui-boot:cu126-slim
पोर्ट: 22/tcp, 8188/http
पर्यावरण: CLI_ARGS=--listen 0.0.0.0

वैकल्पिक इमेजें:

# सामान्य एक्सटेंशनों के साथ
इमेज: ai-dock/comfyui:latest

# न्यूनतम
इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel

मैनुअल सेटअप कमांड:

git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI && pip install -r requirements.txt && python main.py --listen 0.0.0.0

---

Fooocus

सरलीकृत SD इंटरफ़ेस, Midjourney- जैसा।

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट: 22/tcp, 7865/http
कमांड: git clone https://github.com/lllyasviel/Fooocus && cd Fooocus && pip install -r requirements.txt && python launch.py --listen

---

FLUX

नवीनतम उच्च-गुणवत्ता इमेज जनरेशन।

FLUX नोड्स के साथ ComfyUI का उपयोग करें:

इमेज: yanwk/comfyui-boot:cu126-slim
पोर्ट: 22/tcp, 8188/http

या Diffusers के माध्यम से:

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp

# SSH के बाद
pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import FluxPipeline
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell")
pipe.enable_model_cpu_offload()
image = pipe("A cat", num_inference_steps=4).images[0]
image.save("output.png")
EOF

---

वीडियो जेनेरेशन

Stable Video Diffusion

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp

pip install diffusers transformers accelerate
python << 'EOF'
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video
pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt",
    variant="fp16"
)
pipe.to("cuda")
image = load_image("input.png")
frames = pipe(image, num_frames=25).frames[0]
export_to_video(frames, "output.mp4", fps=7)
EOF

---

AnimateDiff

ComfyUI के साथ उपयोग करें:

इमेज: yanwk/comfyui-boot:cu126-slim
पोर्ट: 22/tcp, 8188/http

ComfyUI मैनेजर के माध्यम से AnimateDiff नोड्स स्थापित करें।

---

ऑडियो और वॉइस

Whisper (ट्रांसक्रिप्शन)

इमेज: onerahmet/openai-whisper-asr-webservice:latest
पोर्ट्स: 22/tcp, 9000/http
पर्यावरण: ASR_MODEL=large-v3

API उपयोग:

curl -X POST "http://localhost:9000/asr" \
    -F "[email protected]" \
    -F "task=transcribe"

---

Bark (टेक्स्ट-टू-स्पीच)

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp

pip install bark
python << 'EOF'
from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
preload_models()
audio = generate_audio("Hello, this is a test.")
write_wav("output.wav", SAMPLE_RATE, audio)
EOF

---

Stable Audio

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp

pip install stable-audio-tools
# मॉडल एक्सेस के लिए HF टोकन आवश्यक है

---

विजन मॉडल

LLaVA

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp

pip install llava
python -m llava.serve.cli --model-path liuhaotian/llava-v1.6-34b

---

Llama 3.2 Vision

Ollama का उपयोग करें:

इमेज: ollama/ollama
पोर्ट्स: 22/tcp, 11434/http

ollama pull llama3.2-vision
ollama run llama3.2-vision "describe this image" --images photo.jpg

---

डेवलपमेंट और प्रशिक्षण

PyTorch बेस

कस्टम सेटअप और प्रशिक्षण के लिए।

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp

शामिल हैं: CUDA 12.1, cuDNN 8, PyTorch 2.1

---

Jupyter Lab

ML के लिए इंटरैक्टिव नोटबुक।

इमेज: jupyter/pytorch-notebook:cuda12-pytorch-2.1
पोर्ट्स: 22/tcp, 8888/http

या Jupyter के साथ PyTorch बेस का उपयोग करें:

pip install jupyterlab
jupyter lab --ip=0.0.0.0 --allow-root --no-browser

---

Kohya प्रशिक्षण

LoRA और मॉडल फाइन-ट्यूनिंग के लिए।

इमेज: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel
पोर्ट्स: 22/tcp

git clone https://github.com/kohya-ss/sd-scripts
cd sd-scripts
pip install -r requirements.txt
# प्रशिक्षण स्क्रिप्ट्स का उपयोग करें

---

बेस इमेजेस संदर्भ

NVIDIA आधिकारिक

इमेज	CUDA	उपयोग का मामला
nvidia/cuda:12.1.0-devel-ubuntu22.04	12.1	CUDA डेवलपमेंट
nvidia/cuda:12.1.0-runtime-ubuntu22.04	12.1	केवल CUDA रनटाइम
nvidia/cuda:11.8.0-devel-ubuntu22.04	11.8	लेगेसी संगतता

PyTorch आधिकारिक

इमेज	PyTorch	CUDA
pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel	2.5	12.4
pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel	2.0	11.7
pytorch/pytorch:1.13.1-cuda11.6-cudnn8-devel	1.13	11.6

HuggingFace

इमेज	उद्देश्य
huggingface/transformers-pytorch-gpu	Transformers + PyTorch
ghcr.io/huggingface/text-generation-inference	TGI सर्वर

---

पर्यावरण चर

सामान्य वेरिएबल्स

वैरिएबल	विवरण	उदाहरण
HUGGING_FACE_HUB_TOKEN	गेटेड मॉडलों के लिए HF API टोकन	hf_xxx
CUDA_VISIBLE_DEVICES	GPU चयन	0,1
TRANSFORMERS_CACHE	मॉडल कैश निर्देशिका	/root/.cache

Ollama वेरिएबल्स

वैरिएबल	विवरण	डिफ़ॉल्ट
OLLAMA_HOST	बाइंड पता	127.0.0.1
OLLAMA_MODELS	मॉडलों की निर्देशिका	~/.ollama/models
OLLAMA_NUM_PARALLEL	समानांतर अनुरोध	1

vLLM वेरिएबल्स

वैरिएबल	विवरण
VLLM_ATTENTION_BACKEND	अटेंशन इम्प्लीमेंटेशन
VLLM_USE_MODELSCOPE	HF के बजाय ModelScope का उपयोग करें

---

पोर्ट संदर्भ

पोर्ट	प्रोटोकॉल	सेवा
22	TCP	SSH
7860	HTTP	Gradio (SD WebUI, Fooocus)
7865	HTTP	Fooocus वैकल्पिक
8000	HTTP	vLLM API
8080	HTTP	Open WebUI, TGI
8188	HTTP	ComfyUI
8888	HTTP	Jupyter
9000	HTTP	Whisper API
11434	TCP	Ollama API

---

टिप्स

स्थायी स्टोरेज

रिस्टार्ट्स के बीच डेटा रखने के लिए वॉल्यूम माउंट करें:

docker run -v /data/models:/root/.cache/huggingface ...

GPU चयन

मल्टी-GPU सिस्टम के लिए:

docker run --gpus '"device=0,1"' ...
# या
CUDA_VISIBLE_DEVICES=0,1

मेमोरी प्रबंधन

यदि VRAM की कमी हो रही है:

1. छोटे मॉडल का उपयोग करें

2. CPU ऑफलोड सक्षम करें

3. बैच साइज घटाएँ

4. क्वांटाइज़्ड मॉडल का उपयोग करें (GGUF Q4)

अगले कदम

• GPU तुलना - सही GPU चुनें

• मॉडल संगतता - कौन कहाँ चलता है

• क्विकस्टार्ट गाइड - 5 मिनट में शुरू करें