DeepSeek V4 (1T MoE, Multimodal)

Despliega DeepSeek V4 — el modelo multimodal de un billón de parámetros con pesos abiertos — en servidores GPU de Clore.ai

Estado (4 de marzo de 2026): El lanzamiento de DeepSeek V4 es inminente — se espera la primera semana de marzo de 2026. Esta guía cubre la configuración usando vLLM/Ollama una vez que los pesos se publiquen en HuggingFace. Consulta huggingface.co/deepseek-ai para la última versión.

DeepSeek V4 es el modelo de pesos abiertos más esperado de principios de 2026 — un modelo MoE multimodal de ~1 billón de parámetros de DeepSeek AI, entrenado en los chips más recientes de NVIDIA y optimizado para hardware Huawei Ascend. Con ~32B de parámetros activos por token, ofrece rendimiento de vanguardia a una fracción del coste de cómputo.

Especificaciones clave

Propiedad	Valor
Parámetros totales	~1 billón (MoE)
Parámetros activos	~32B por paso hacia adelante
Ventana de contexto	1M tokens
Modalidades	Texto + Imagen + Video
Licencia	MIT esperado (como V3)
Benchmark	Se espera que lidere los rankings de código abierto

¿Por qué DeepSeek V4?

• Modelo de pesos abiertos nº 1 — diseñado para superar a V3 y rivalizar con GPT-4.5/Claude Opus

• Multimodal — maneja de forma nativa entradas de texto, imagen y video

• Contexto de 1M — RAG para documentos largos, bases de código enteras en contexto

• Licencia MIT — uso comercial permitido, sin restricciones

• Eficiencia masiva — solo 32B de parámetros activos pese a 1T totales

---

Requisitos

Componente	Mínimo	Recomendado
VRAM de GPU	2× RTX 4090 (48GB) para Q4	4× A100 80GB para FP16
RAM	64GB	128GB
Disco	500GB (cuantizado)	2TB (FP16)
CUDA	12.4+	12.6+

Alerta de modelo grande: DeepSeek V4 en FP16 requiere ~2TB de VRAM repartida entre múltiples A100/H100. Para un uso práctico en nodo único/dual, espera la cuantización GGUF Q4 (se espera días después del lanzamiento). Q4_K_M con ~1T params ≈ ~500GB — usa multi-nodo o cuantización de 8 bits en 4× RTX 4090.

---

Opción A — Cuantizado vía Ollama (más fácil, cuando esté disponible)

Ollama añadirá modelos DeepSeek V4 dentro de horas de que se publiquen los pesos.

version: "3.8"
services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - OLLAMA_KEEP_ALIVE=24h
      - OLLAMA_MAX_LOADED_MODELS=1

volumes:
  ollama_data:

# Extrae y ejecuta DeepSeek V4 (actualiza la etiqueta una vez lanzado)
docker exec ollama ollama pull deepseek-v4:32b-q4_K_M
docker exec ollama ollama run deepseek-v4:32b-q4_K_M

# O vía Open WebUI para una interfaz de chat completa
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  ghcr.io/open-webui/open-webui:main

---

Opción B — vLLM (API de producción, alto rendimiento)

version: "3.8"
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - hf_cache:/root/.cache/huggingface
    command: >
      --model deepseek-ai/DeepSeek-V4
      --tensor-parallel-size 4
      --max-model-len 32768
      --dtype bfloat16
      --gpu-memory-utilization 0.92
      --served-model-name deepseek-v4
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: "16gb"

volumes:
  hf_cache:

# Prueba la API
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v4",
    "messages": [{"role": "user", "content": "Explica el entrelazamiento cuántico de forma simple"}],
    "max_tokens": 512
  }'

---

Opción C — llama.cpp (CPU+GPU, cuantizado)

# Una vez que los archivos GGUF estén disponibles en HuggingFace
docker run --gpus all -it --rm \
  -p 8080:8080 \
  -v $(pwd)/models:/models \
  ghcr.io/ggerganov/llama.cpp:server-cuda \
  -m /models/deepseek-v4-q4_k_m.gguf \
  --n-gpu-layers 80 \
  --threads 8 \
  --ctx-size 8192 \
  --port 8080 \
  --host 0.0.0.0

---

Recomendaciones de GPU en Clore.ai

Configuración	VRAM	Rendimiento esperado	Coste en Clore.ai
2× RTX 4090	48GB	Cuantizado Q4, ~15 tok/s	~$4–5/día
4× RTX 4090	96GB	Cuantizado Q5/Q8, ~25 tok/s	~$8–10/día
4× A100 80GB	320GB	Shardeo MoE en BF16, rápido	~$15–20/día
8× H100 80GB	640GB	FP16 completo, máxima velocidad	~$50+/día

Mejor valor en Clore.ai: Alquila 2× RTX 4090 (disponible desde ~$4/día) para DeepSeek V4 cuantizado Q4. Espera 10–20 tokens/segundo — perfecto para uso personal y desarrollo.

---

Reenvío de puertos en Clore.ai

Agrega estos a la configuración de puertos del contenedor en Clore.ai:

Puerto	Servicio
11434	API de Ollama
8000	API compatible con OpenAI de vLLM
8080	Servidor de llama.cpp / Open WebUI
3000	Interfaz de chat de Open WebUI

---

Consejos de rendimiento

1. Usa la cuantización Q4_K_M para la mejor relación calidad/VRAM — aún supera a la mayoría de los modelos de 70B

2. Habilita flash attention: añade --enable-chunked-prefill en vLLM para contextos largos

3. Paralelismo tensorial: el --tensor-parallel-size N de vLLM a través de N GPUs es transparente

4. Longitud de contexto: Comienza con 8192 ctx en 2× 4090, aumenta si la VRAM lo permite

5. BF16 > FP16 para modelos MoE — menos pérdida de precisión en activaciones dispersas

---

Qué esperar

Basado en los patrones de DeepSeek V3 y benchmarks previos al lanzamiento:

• Programación: Se espera rendimiento de primer nivel en SWE-bench (rivalizando con Claude 3.7 Sonnet)

• Matemáticas/Razonamiento: Puntuaciones en MATH-500 y AIME por encima de todos los predecesores de peso abierto

• Multimodal: Comprensión de imágenes y video comparable a GPT-4V

• Contexto largo: Ventana de 1M tokens para análisis de bases de código completas

---

Enlaces

• HuggingFace: huggingface.co/deepseek-ai (los pesos aparecerán aquí)

• GitHub: github.com/deepseek-ai

• Guía DeepSeek V3 (actual): DeepSeek-V3

• Guía DeepSeek-R1: DeepSeek-R1

• Marketplace de Clore.ai: clore.ai/marketplace