DeepSeek-V3

Ejecuta DeepSeek-V3 con razonamiento excepcional en GPUs de Clore.ai

Ejecute DeepSeek-V3, el LLM de código abierto de última generación con capacidades de razonamiento excepcionales en las GPU de CLORE.AI.

Todos los ejemplos se pueden ejecutar en servidores GPU alquilados a través de Marketplace de CLORE.AI.

Actualizado: DeepSeek-V3-0324 (marzo de 2024) — La última revisión de DeepSeek-V3 aporta mejoras significativas en la generación de código, el razonamiento matemático y la resolución general de problemas. Consulte la registro de cambios sección para más detalles.

¿Por qué DeepSeek-V3?

• De última generación - Compite con GPT-4o y Claude 3.5 Sonnet

• 671B MoE - 671B de parámetros totales, 37B activos por token (inferencia eficiente)

• Razonamiento mejorado - DeepSeek-V3-0324 es significativamente mejor en matemáticas y código

• Eficiente - La arquitectura MoE reduce los costos de cómputo frente a los modelos densos

• Código abierto - Pesos totalmente abiertos bajo licencia MIT

• Contexto largo - Ventana de contexto de 128K tokens

¿Qué hay de nuevo en DeepSeek-V3-0324?

DeepSeek-V3-0324 (revisión de marzo de 2024) introduce mejoras significativas en áreas clave:

Generación de código

• +8-12% en HumanEval en comparación con el V3 original

• Mejor en bases de código de varios archivos y tareas complejas de refactorización

• Mejor comprensión de frameworks modernos (FastAPI, Pydantic v2, LangChain v0.3)

• Más fiable al generar código completo y ejecutable sin omisiones

Razonamiento matemático

• +5% en MATH-500 benchmark

• Mejor construcción de pruebas paso a paso

• Mayor precisión numérica para problemas de varios pasos

• Mayor capacidad para identificar y corregir errores a mitad de la solución

Razonamiento general

• Deducción lógica e inferencia causal más sólidas

• Mejor en tareas de planificación de varios pasos

• Rendimiento más consistente en casos límite y prompts ambiguos

• Mejor seguimiento de instrucciones en solicitudes complejas con múltiples restricciones

Despliegue rápido en CLORE.AI

Imagen de Docker:

vllm/vllm-openai:latest

Puertos:

22/tcp
8000/http

Comando (se requieren varias GPU):

python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V3-0324 \\
    --host 0.0.0.0 \\
    --port 8000 \\
    --tensor-parallel-size 8 \
    --trust-remote-code

Accediendo a tu servicio

Después del despliegue, encuentra tu http_pub URL en Mis pedidos:

1. Ve a Mis pedidos página

2. Haz clic en tu pedido

3. Encuentra la http_pub URL (p. ej., abc123.clorecloud.net)

Usa https://YOUR_HTTP_PUB_URL en lugar de localhost en los ejemplos a continuación.

Verifica que funciona

# Comprueba si el servicio está listo
curl https://your-http-pub.clorecloud.net/health

# Lista los modelos disponibles
curl https://your-http-pub.clorecloud.net/v1/models

# Obtener versión
curl https://your-http-pub.clorecloud.net/version

Importante: DeepSeek-V3 requiere 8x A100 80GB GPU y un tiempo de descarga considerable. El error HTTP 502 puede persistir durante 15 a 30 minutos mientras se descarga el modelo.

Variantes del modelo

Modelo	Parámetros	Activo	VRAM requerida	HuggingFace
DeepSeek-V3-0324	671B	37B	8x80GB	deepseek-ai/DeepSeek-V3-0324
DeepSeek-V3	671B	37B	8x80GB	deepseek-ai/DeepSeek-V3
DeepSeek-V3-Base	671B	37B	8x80GB	deepseek-ai/DeepSeek-V3-Base
DeepSeek-V2.5	236B	21B	4x80GB	deepseek-ai/DeepSeek-V2.5
DeepSeek-V2-Lite	16B	2.4B	16GB	deepseek-ai/DeepSeek-V2-Lite
DeepSeek-Coder-V2	236B	21B	4x80GB	deepseek-ai/DeepSeek-Coder-V2-Instruct

Requisitos de hardware

Los equipos multinodo de clase 80GB no aparecen listados en el marketplace de Clore.ai. Los equipos más grandes listados hoy son 4× RTX PRO 6000 Blackwell (96GB cada una, 380GB en total) y 8–11× RTX 5090 (32GB cada una). La capacidad A100 / H200 / B200 se vende como bare metal bajo pedido. Consulta Precios y disponibilidad de GPU antes de dimensionar un despliegue.

Precisión completa

Modelo	Mínimo	Recomendado
DeepSeek-V3-0324	8x A100 80GB	8x H100 80GB
DeepSeek-V2.5	4x A100 80GB	4x H100 80GB
DeepSeek-V2-Lite	RTX 4090 24GB	A100 40GB

Cuantizado (AWQ/GPTQ)

Modelo	Cuantización	VRAM
DeepSeek-V3-0324	INT4	4x80GB
DeepSeek-V2.5	INT4	2x80GB
DeepSeek-V2-Lite	INT4	8GB

Instalación

Usando vLLM (recomendado)

pip install vllm==0.7.3

# DeepSeek-V3-0324 (más reciente, 8 GPU)
python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V3-0324 \\
    --tensor-parallel-size 8 \
    --trust-remote-code \\
    --host 0.0.0.0 \\
    --port 8000

# V3 original (todavía disponible)
python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V3 \\
    --tensor-parallel-size 8 \
    --trust-remote-code \\
    --host 0.0.0.0 \\
    --port 8000

Usando Transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "deepseek-ai/DeepSeek-V3-0324"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

messages = [{"role": "user", "content": "Explica la computación cuántica en términos sencillos."}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Usando Ollama

# Descarga DeepSeek-V3 (requiere recursos significativos)
ollama pull deepseek-v3

# O variante más ligera
ollama pull deepseek-coder-v2:16b

# Ejecutar
ollama run deepseek-v3

Uso de la API

API compatible con OpenAI (vLLM)

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="no necesario"
)

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[
        {"role": "system", "content": "Eres un asistente de IA útil."},
        {"role": "user", "content": "Escribe una función de Python para encontrar números primos."}
    ],
    temperature=0.7,
    max_tokens=1000
)

print(response.choices[0].message.content)

Transmisión

stream = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": "Explica el aprendizaje automático"}],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

cURL

curl http://localhost:8000/v1/chat/completions \\
    -H "Content-Type: application/json" \\
    -d '{
        "model": "deepseek-ai/DeepSeek-V3-0324",
        "messages": [
            {"role": "user", "content": "¿Cuál es la capital de Francia?"}
        ],
        "temperature": 0.7
    }'

DeepSeek-V2-Lite (una sola GPU)

Para usuarios con hardware limitado:

# Usando vLLM
python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V2-Lite \\
    --trust-remote-code \\
    --host 0.0.0.0

# Usando Ollama
ollama run deepseek-coder-v2:16b

# Usando Transformers en una sola GPU
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/DeepSeek-V2-Lite",
    torch_dtype=torch.float16,
    device_map="cuda",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V2-Lite", trust_remote_code=True)

Generación de código

DeepSeek-V3-0324 es el mejor de su clase para código:

prompt = """Escribe una clase de Python para un árbol binario de búsqueda con:
- insertar
- buscar
- eliminar
- recorrido en orden
Incluye anotaciones de tipo y docstrings."""

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.2  # Más baja para código
)

print(response.choices[0].message.content)

Tareas avanzadas de código en las que V3-0324 destaca:

# Refactorización de múltiples archivos
prompt = """Tengo una aplicación Flask con todo el código en app.py (500 líneas).
Refactorízala para usar el patrón de fábrica de aplicaciones con blueprints para:
- auth (iniciar sesión, registrarse, cerrar sesión)
- api (puntos finales REST)
- admin (panel de control)
Muestra la estructura completa de archivos y todos los archivos."""

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.1,
    max_tokens=4000
)

Matemáticas y razonamiento

# Problema matemático complejo
prompt = """Demuestra que para cualquier entero n >= 1, la suma 1^2 + 2^2 + ... + n^2 = n(n+1)(2n+1)/6.
Usa inducción matemática y muestra claramente todos los pasos."""

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.1  # Muy baja para matemáticas
)

print(response.choices[0].message.content)

Configuración multi-GPU

8x GPU (modelo completo — V3-0324)

python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V3-0324 \\
    --tensor-parallel-size 8 \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.9 \\
    --trust-remote-code

4x GPU (V2.5)

python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V2.5 \\
    --tensor-parallel-size 4 \\
    --max-model-len 16384 \
    --trust-remote-code

Rendimiento

Rendimiento (tokens/seg)

Modelo	GPUs	Contexto	Tokens/seg
DeepSeek-V3-0324	8x H100	32K	~85
DeepSeek-V3-0324	8x A100 80GB	32K	~52
DeepSeek-V3-0324 INT4	4x A100 80GB	16K	~38
DeepSeek-V2.5	4x A100 80GB	16K	~70
DeepSeek-V2.5	2x A100 80GB	8K	~45
DeepSeek-V2-Lite	RTX 4090	8K	~40
DeepSeek-V2-Lite	RTX 3090	4K	~25

Tiempo hasta el primer token (TTFT)

Modelo	Configuración	TTFT
DeepSeek-V3-0324	8x H100	~750ms
DeepSeek-V3-0324	8x A100	~1100ms
DeepSeek-V2.5	4x A100	~500ms
DeepSeek-V2-Lite	RTX 4090	~150 ms

Uso de memoria

Modelo	Precisión	VRAM requerida
DeepSeek-V3-0324	FP16	8x 80GB
DeepSeek-V3-0324	INT4	4x 80GB
DeepSeek-V2.5	FP16	4x 80GB
DeepSeek-V2.5	INT4	2x 80GB
DeepSeek-V2-Lite	FP16	20 GB
DeepSeek-V2-Lite	INT4	10GB

Pruebas comparativas

DeepSeek-V3-0324 frente a la competencia

Benchmark	V3-0324	V3 (original)	GPT-4o	Claude 3.5 Sonnet
MMLU	88.5%	87.1%	88.7%	88.3%
HumanEval	90.2%	82.6%	90.2%	92.0%
MATH-500	67.1%	61.6%	76.6%	71.1%
GSM8K	92.1%	89.3%	95.8%	96.4%
LiveCodeBench	72.4%	65.9%	71.3%	73.8%
Clasificación en Codeforces	1850	1720	1780	1790

Nota: la mejora en MATH-500 de V3 → V3-0324 es de +5,5 puntos porcentuales.

Docker Compose

version: '3.8'

services:
  deepseek:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - ~/.cache/huggingface:/root/.cache/huggingface
    environment:
      - HUGGING_FACE_HUB_TOKEN=${HF_TOKEN}
    command: >
      --model deepseek-ai/DeepSeek-V2-Lite
      --host 0.0.0.0
      --port 8000
      --trust-remote-code
      --gpu-memory-utilization 0.9
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Resumen de requisitos de GPU

Caso de uso	Configuración recomendada	Costo/hora
DeepSeek-V3-0324 completo	8x A100 80GB	~$2.00
DeepSeek-V2.5	4x A100 80GB	~$1.00
Desarrollo/Pruebas	RTX 4090 (V2-Lite)	~$0.10
API de producción	8x H100 80GB	~$3.00

Estimación de costos

Tarifas típicas del mercado de CLORE.AI:

Configuración de GPU	Tarifa por hora	Tarifa diaria
RTX 4090 24GB	~$0.10	~$2.30
A100 40GB	~$0.17	~$4.00
A100 80GB	~$0.25	~$6.00
4x A100 80GB	~$1.00	~$24.00
8x A100 80GB	~$2.00	~$48.00

Los precios varían según el proveedor. Consulta Marketplace de CLORE.AI las tarifas actuales.

Ahorra dinero:

• Usa el Spot mercado para desarrollo — alrededor de un tercio de los precios spot de los servidores están por debajo del precio bajo demanda (mediana ~13% de descuento), el resto coincide con él

• Paga con CLORE tokens

• Usa DeepSeek-V2-Lite para pruebas antes de escalar

Solución de problemas

Sin memoria

# Reduce la longitud de contexto
--max-model-len 8192

# O usa cuantización
--quantization awq

# Para V2-Lite en una GPU de 12 GB
--gpu-memory-utilization 0.85
--max-model-len 4096

Descarga del modelo lenta

# Pre-descarga
huggingface-cli download deepseek-ai/DeepSeek-V3-0324

# O usa un espejo
export HF_ENDPOINT=https://hf-mirror.com

Error de trust_remote_code

# Incluye siempre este indicador para los modelos DeepSeek
--trust-remote-code

La configuración multi-GPU no funciona

# Comprueba NCCL
nvidia-smi topo -m

# Establece variables NCCL
export NCCL_DEBUG=INFO
export NCCL_P2P_DISABLE=0

DeepSeek frente a otros

Función	DeepSeek-V3-0324	Llama 3.1 405B	Mixtral 8x22B
Parámetros	671B (37B activos)	405B	176B (44B activos)
Contexto	128K	128K	64K
Código	Excelente	Excelente	Bueno
Matemáticas	Excelente	Bueno	Bueno
VRAM mínima	8x80GB	8x80GB	2x80GB
Licencia	MIT	Llama 3.1	Apache 2.0

Usa DeepSeek-V3 cuando:

• Se necesita el mejor rendimiento de razonamiento

• La generación de código es el uso principal

• Las tareas de matemáticas/lógica son importantes

• Tienes disponible una configuración multi-GPU

• Quieres pesos totalmente de código abierto (licencia MIT)

Siguientes pasos

• vLLM - Servidor de despliegue

• DeepSeek-R1 - Variante especializada en razonamiento

• DeepSeek Coder - Variante específica para código

• Ollama - Despliegue más sencillo

• Ajustar LLM - Entrenamiento personalizado