DeepSeek-V3

Запустите DeepSeek-V3 с исключительной способностью к рассуждению на GPU Clore.ai

Запускайте DeepSeek-V3 — передовую open-source LLM с исключительными возможностями рассуждения на GPU CLORE.AI.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Обновлено: DeepSeek-V3-0324 (март 2024) — В последней ревизии DeepSeek-V3 появились значительные улучшения в генерации кода, математическом рассуждении и общем решении задач. Подробности см. в журнале изменений .

Почему DeepSeek-V3?

• Передовой - Соперничает с GPT-4o и Claude 3.5 Sonnet

• 671 млрд MoE - Всего 671 млрд параметров, 37 млрд активных на токен (эффективный вывод)

• Улучшенное рассуждение - DeepSeek-V3-0324 значительно лучше справляется с математикой и кодом

• Эффективный - Архитектура MoE снижает вычислительные затраты по сравнению с плотными моделями

• Открытый исходный код - Полностью открытые веса под лицензией MIT

• Длинный контекст - Контекстное окно на 128K токенов

Что нового в DeepSeek-V3-0324

DeepSeek-V3-0324 (ревизия марта 2024) вносит значимые улучшения в ключевых областях:

Генерация кода

• +8–12% на HumanEval по сравнению с исходным V3

• Лучше работает с многомодульными кодовыми базами и сложными задачами рефакторинга

• Улучшенное понимание современных фреймворков (FastAPI, Pydantic v2, LangChain v0.3)

• Более надежно генерирует полный, рабочий код без пропусков

Математическое рассуждение

• +5% на MATH-500 бенчмарке

• Лучшее пошаговое построение доказательств

• Улучшенная числовая точность для многошаговых задач

• Расширенная способность находить и исправлять ошибки по ходу решения

Общее рассуждение

• Более сильная логическая дедукция и причинно-следственный вывод

• Лучше справляется с многошаговым планированием

• Более стабильная производительность на краевых случаях и неоднозначных запросах

• Улучшенное следование инструкциям в сложных запросах с множеством ограничений

Быстрое развертывание на CLORE.AI

Docker-образ:

vllm/vllm-openai:latest

Порты:

22/tcp
8000/http

Команда (требуется несколько GPU):

python -m vllm.entrypoints.openai.api_server \\
    --model deepseek-ai/DeepSeek-V3-0324 \\
    --host 0.0.0.0 \
    --port 8000 \\
    --tensor-parallel-size 8 \
    --trust-remote-code

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Проверьте, что он работает

# Проверьте, готов ли сервис
curl https://your-http-pub.clorecloud.net/health

# Список доступных моделей
curl https://your-http-pub.clorecloud.net/v1/models

# Получить версию
curl https://your-http-pub.clorecloud.net/version

Важно: Для DeepSeek-V3 требуются 8x A100 80 ГБ GPU и значительное время на загрузку. Ошибка HTTP 502 может сохраняться 15–30 минут, пока модель загружается.

Варианты модели

Модель	Параметры	Активный	Требуемая VRAM	HuggingFace
DeepSeek-V3-0324	671 млрд	37 млрд	8x80GB	deepseek-ai/DeepSeek-V3-0324
DeepSeek-V3	671 млрд	37 млрд	8x80GB	deepseek-ai/DeepSeek-V3
DeepSeek-V3-Base	671 млрд	37 млрд	8x80GB	deepseek-ai/DeepSeek-V3-Base
DeepSeek-V2.5	236 млрд	21 млрд	4x80GB	deepseek-ai/DeepSeek-V2.5
DeepSeek-V2-Lite	16B	2,4 млрд	16GB	deepseek-ai/DeepSeek-V2-Lite
DeepSeek-Coder-V2	236 млрд	21 млрд	4x80GB	deepseek-ai/DeepSeek-Coder-V2-Instruct

Требования к оборудованию

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Полная точность

Модель	Минимум	Рекомендуется
DeepSeek-V3-0324	8x A100 80 ГБ	8x H100 80GB
DeepSeek-V2.5	4x A100 80GB	4x H100 80GB
DeepSeek-V2-Lite	RTX 4090 24GB	A100 40 ГБ

Квантованная (AWQ/GPTQ)

Модель	Квантование	VRAM
DeepSeek-V3-0324	INT4	4x80GB
DeepSeek-V2.5	INT4	2x80GB
DeepSeek-V2-Lite	INT4	8 ГБ

Установка

Использование vLLM (рекомендуется)

pip install vllm==0.7.3

# DeepSeek-V3-0324 (последняя версия, 8 GPU)
python -m vllm.entrypoints.openai.api_server \\
    --model deepseek-ai/DeepSeek-V3-0324 \\
    --tensor-parallel-size 8 \
    --trust-remote-code \\
    --host 0.0.0.0 \
    --port 8000

# Исходный V3 (всё ещё доступен)
python -m vllm.entrypoints.openai.api_server \\
    --model deepseek-ai/DeepSeek-V3 \\
    --tensor-parallel-size 8 \
    --trust-remote-code \\
    --host 0.0.0.0 \
    --port 8000

Использование Transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "deepseek-ai/DeepSeek-V3-0324"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

messages = [{"role": "user", "content": "Объясни квантовые вычисления простыми словами."}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Использование Ollama

# Скачать DeepSeek-V3 (требует значительных ресурсов)
ollama pull deepseek-v3

# Или более легкий вариант
ollama pull deepseek-coder-v2:16b

# Запуск
ollama run deepseek-v3

Использование API

Совместимый с OpenAI API (vLLM)

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[
        {"role": "system", "content": "Вы — полезный AI-ассистент."},
        {"role": "user", "content": "Напиши функцию на Python для поиска простых чисел."}
    ],
    temperature=0.7,
    max_tokens=1000
)

print(response.choices[0].message.content)

Потоковая передача

stream = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": "Объясни машинное обучение"}],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

cURL

curl http://localhost:8000/v1/chat/completions \\
    -H "Content-Type: application/json" \\
    -d '{
        "model": "deepseek-ai/DeepSeek-V3-0324",
        "messages": [
            {"role": "user", "content": "Какова столица Франции?"}
        ],
        "temperature": 0.7
    }'

DeepSeek-V2-Lite (одна GPU)

Для пользователей с ограниченным оборудованием:

# Использование vLLM
python -m vllm.entrypoints.openai.api_server \\
    --model deepseek-ai/DeepSeek-V2-Lite \\
    --trust-remote-code \\
    --host 0.0.0.0

# Использование Ollama
ollama run deepseek-coder-v2:16b

# Использование Transformers на одной GPU
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/DeepSeek-V2-Lite",
    torch_dtype=torch.float16,
    device_map="cuda",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V2-Lite", trust_remote_code=True)

Генерация кода

DeepSeek-V3-0324 — лучший в своем классе для кода:

prompt = """Напишите класс на Python для двоичного дерева поиска с:
- вставкой
- поиском
- удалением
- обходом in-order
Добавьте аннотации типов и строки документации."""

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.2  # Ниже для кода
)

print(response.choices[0].message.content)

Продвинутые задачи по коду, в которых V3-0324 особенно хорош:

# Рефакторинг нескольких файлов
prompt = """У меня есть Flask-приложение, весь код находится в app.py (500 строк).
Рефакторизуйте его, чтобы использовать паттерн application factory с blueprint'ами для:
- auth (вход, регистрация, выход)
- api (REST-эндпоинты)
- admin (панель управления)
Покажите полную структуру файлов и все файлы."""

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.1,
    max_tokens=4000
)

Математика и рассуждение

# Сложная математическая задача
prompt = """Докажите, что для любого целого n >= 1 сумма 1^2 + 2^2 + ... + n^2 = n(n+1)(2n+1)/6.
Используйте математическую индукцию и покажите все шаги ясно."""

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.1  # Очень низкая для математики
)

print(response.choices[0].message.content)

Конфигурация нескольких GPU

8 GPU (полная модель — V3-0324)

python -m vllm.entrypoints.openai.api_server \\
    --model deepseek-ai/DeepSeek-V3-0324 \\
    --tensor-parallel-size 8 \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.9 \\
    --trust-remote-code

4 GPU (V2.5)

python -m vllm.entrypoints.openai.api_server \\
    --model deepseek-ai/DeepSeek-V2.5 \\
    --tensor-parallel-size 4 \
    --max-model-len 16384 \
    --trust-remote-code

Производительность

Пропускная способность (токенов/с)

Модель	GPU	Контекст	Токенов/сек
DeepSeek-V3-0324	8x H100	32K	~85
DeepSeek-V3-0324	8x A100 80 ГБ	32K	~52
DeepSeek-V3-0324 INT4	4x A100 80GB	16K	~38
DeepSeek-V2.5	4x A100 80GB	16K	~70
DeepSeek-V2.5	2x A100 80 ГБ	8K	~45
DeepSeek-V2-Lite	RTX 4090	8K	~40
DeepSeek-V2-Lite	RTX 3090	4K	~25

Время до первого токена (TTFT)

Модель	Конфигурация	TTFT
DeepSeek-V3-0324	8x H100	~750 мс
DeepSeek-V3-0324	8× A100	~1100 мс
DeepSeek-V2.5	4× A100	~500 мс
DeepSeek-V2-Lite	RTX 4090	~150 мс

Использование памяти

Модель	Точность	Требуемая VRAM
DeepSeek-V3-0324	FP16	8x 80GB
DeepSeek-V3-0324	INT4	4x 80GB
DeepSeek-V2.5	FP16	4x 80GB
DeepSeek-V2.5	INT4	2x 80GB
DeepSeek-V2-Lite	FP16	20 ГБ
DeepSeek-V2-Lite	INT4	10 ГБ

Бенчмарки

DeepSeek-V3-0324 против конкурентов

Бенчмарк	V3-0324	V3 (исходный)	GPT-4o	Claude 3.5 Sonnet
MMLU	88.5%	87.1%	88.7%	88.3%
HumanEval	90.2%	82.6%	90.2%	92.0%
MATH-500	67.1%	61.6%	76.6%	71.1%
GSM8K	92.1%	89.3%	95.8%	96.4%
LiveCodeBench	72.4%	65.9%	71.3%	73.8%
Рейтинг Codeforces	1850	1720	1780	1790

Примечание: улучшение MATH-500 от V3 → V3-0324 составляет +5,5 процентных пункта.

Docker Compose

version: '3.8'

services:
  deepseek:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - ~/.cache/huggingface:/root/.cache/huggingface
    environment:
      - HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}
    command: >
      --model deepseek-ai/DeepSeek-V2-Lite
      --host 0.0.0.0
      --port 8000
      --trust-remote-code
      --gpu-memory-utilization 0.9
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Сводка требований к GPU

Сценарий использования	Рекомендуемая конфигурация	Стоимость/час
Полный DeepSeek-V3-0324	8x A100 80 ГБ	~$2.00
DeepSeek-V2.5	4x A100 80GB	~$1.00
Разработка/тестирование	RTX 4090 (V2-Lite)	~$0.10
Production API	8x H100 80GB	~$3.00

Оценка стоимости

Типичные расценки маркетплейса CLORE.AI:

Конфигурация GPU	Почасовая ставка	Дневная ставка
RTX 4090 24GB	~$0.10	~$2.30
A100 40 ГБ	~$0.17	~$4.00
A100 80 ГБ	~$0.25	~$6.00
4x A100 80GB	~$1.00	~$24.00
8x A100 80 ГБ	~$2.00	~$48.00

Цены зависят от провайдера. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot Рынок спотовых серверов для разработки — примерно у трети цена spot ниже on-demand (медиана ~13% ниже), у остальных она совпадает

• Платите CLORE токенами

• Используйте DeepSeek-V2-Lite для тестирования перед масштабированием

Устранение неполадок

Недостаточно памяти

# Уменьшите длину контекста
--max-model-len 8192

# Или используйте квантизацию
--quantization awq

# Для V2-Lite на GPU 12 ГБ
--gpu-memory-utilization 0.85
--max-model-len 4096

Медленная загрузка модели

# Предзагрузка
huggingface-cli download deepseek-ai/DeepSeek-V3-0324

# Или используйте зеркало
export HF_ENDPOINT=https://hf-mirror.com

Ошибка trust_remote_code

# Всегда включайте этот флаг для моделей DeepSeek
--trust-remote-code

Несколько GPU не работают

# Проверьте NCCL
nvidia-smi topo -m

# Установите переменные NCCL
export NCCL_DEBUG=INFO
export NCCL_P2P_DISABLE=0

DeepSeek против других

Функция	DeepSeek-V3-0324	Llama 3.1 405B	Mixtral 8x22B
Параметры	671 млрд (37 млрд активных)	405B	176 млрд (44 млрд активных)
Контекст	128K	128K	64K
Код	Отлично	Отлично	Хорошо
Математика	Отлично	Хорошо	Хорошо
Мин. VRAM	8x80GB	8x80GB	2x80GB
Лицензия	MIT	Llama 3.1	Apache 2.0

Используйте DeepSeek-V3, когда:

• Нужна наилучшая производительность рассуждения

• Генерация кода — основная задача

• Важны задачи по математике/логике

• Доступна конфигурация с несколькими GPU

• Нужны полностью open-source веса (лицензия MIT)

Дальнейшие шаги

• vLLM - Сервер для развертывания

• DeepSeek-R1 - Вариант, специализированный на рассуждении

• DeepSeek Coder - Специализированный вариант для кода

• компонент - Более простое развертывание

• Дообучение LLM - Пользовательское обучение