MiMo-V2-Flash

Despliega MiMo-V2-Flash (309B MoE) con decodificación especulativa en Clore.ai: inferencia ultrarrápida con más de 150 tok/s

MiMo-V2-Flash es un modelo de lenguaje de mezcla de expertos de 309 mil millones de parámetros que activa 15B parámetros por token. Construido con decodificación especulativa avanzada (EAGLE/MTP), ofrece más de 150 tokens/segundo en 8×H100 mientras mantiene un rendimiento de nivel vanguardia. Lanzado bajo licencia MIT, representa la vanguardia de la inferencia eficiente a gran escala.

De un vistazo

• Tamaño del modelo: 309B total / 15B parámetros activos (MoE)

• Licencia: MIT (comercial totalmente permitida)

• Contexto: 32K tokens

• Rendimiento: Estado del arte en benchmarks de razonamiento

• VRAM: ~320GB FP16 (mínimo 4×A100 80GB)

• Velocidad: 150+ tok/s en 8×H100 con decodificación especulativa

¿Por qué MiMo-V2-Flash?

Velocidad revolucionaria: MiMo-V2-Flash logra velocidades de inferencia sin precedentes gracias a EAGLE (Algoritmo de Extrapolación para Mayor Eficiencia de modelos de Lenguaje) y MTP (Predicción Multi-Token). Mientras los modelos tradicionales generan un token a la vez, MiMo-V2 predice y valida múltiples tokens en paralelo.

Escala preparada para producción: Con 309B de parámetros, MiMo-V2-Flash compite con los modelos de vanguardia más grandes mientras sigue siendo desplegable en configuraciones de hardware realistas. Los 15B parámetros activos garantizan una inferencia eficiente a pesar del enorme recuento de parámetros.

Arquitectura avanzada: Más allá del MoE estándar, MiMo-V2-Flash incorpora la decodificación especulativa de forma nativa en la arquitectura del modelo. Esto no es una optimización posterior al entrenamiento: está integrada en la base, permitiendo aceleraciones garantizadas.

Calidad empresarial: Licencia MIT sin restricciones de uso. Despliega a escala, ajusta (fine-tune) o integra en productos comerciales sin preocupaciones de licencia.

Recomendaciones de GPU

Configuración	VRAM	Rendimiento	Coste diario*
4×A100 80GB	320GB	~80 tok/s	~$16.00
8×A100 40GB	320GB	~70 tok/s	~$28.00
2×H100	160GB	~90 tok/s	~$12.00
8×H100	640GB	150+ tok/s	~$48.00
4×H200	564GB	~120 tok/s	~$32.00

Mejor relación calidad-precio: 4×A100 80GB ofrece un excelente rendimiento por dólar. Rendimiento máximo: 8×H100 desbloquea todo el potencial de la decodificación especulativa.

*Precios estimados del marketplace de Clore.ai

Despliegue con SGLang (Recomendado)

SGLang proporciona el mejor soporte para las características de decodificación especulativa de MiMo-V2-Flash:

Instalar SGLang

pip install "sglang[all]>=0.3.0"
# o la última
pip install git+https://github.com/sgl-project/sglang.git

Configuración multi-GPU con MTP

python -m sglang.launch_server \
  --model-path mimo-ai/MiMo-V2-Flash \
  --tp-size 8 \
  --enable-mtp \
  --mtp-max-draft-tokens 8 \
  --mtp-acceptance-rate 0.8 \
  --mem-fraction-static 0.85 \
  --dtype float16 \
  --context-length 32768 \
  --served-model-name mimo-v2-flash

Consultar con la API de OpenAI

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:30000/v1", 
    api_key="EMPTY"
)

response = client.chat.completions.create(
    model="mimo-v2-flash",
    messages=[
        {"role": "system", "content": "You are an expert AI researcher."},
        {"role": "user", "content": "Explain the EAGLE speculative decoding algorithm and why it enables faster inference"}
    ],
    max_tokens=1024,
    temperature=0.7,
    stream=True  # Recomendado para la mejor latencia
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end='', flush=True)

Desplegar con vLLM

vLLM también soporta MiMo-V2-Flash con decodificación especulativa:

pip install vllm>=0.6.0

vllm serve mimo-ai/MiMo-V2-Flash \
  --tensor-parallel-size 8 \
  --speculative-model mimo-ai/MiMo-V2-Flash-Draft \
  --speculative-max-model-len 32768 \
  --speculative-draft-tensor-parallel-size 2 \
  --use-v2-block-manager \
  --dtype float16 \
  --served-model-name mimo-v2-flash \
  --trust-remote-code

Plantilla Docker

FROM nvidia/cuda:12.1-devel-ubuntu22.04

# Instalar dependencias
RUN apt-get update && \
    apt-get install -y python3.10 python3-pip git && \
    rm -rf /var/lib/apt/lists/*

# Instalar SGLang con soporte MTP
RUN pip install "sglang[all]>=0.3.0" transformers

# Establecer variables de entorno
ENV PYTHONUNBUFFERED=1
ENV CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

# Pre-descargar el modelo (opcional, ahorra tiempo de arranque)
# RUN python3 -c "from transformers import AutoModel; AutoModel.from_pretrained('mimo-ai/MiMo-V2-Flash', trust_remote_code=True)"

EXPOSE 30000

CMD ["python", "-m", "sglang.launch_server", \
     "--model-path", "mimo-ai/MiMo-V2-Flash", \
     "--host", "0.0.0.0", \
     "--port", "30000", \
     "--tp-size", "8", \
     "--enable-mtp", \
     "--mtp-max-draft-tokens", "8", \
     "--dtype", "float16"]

Ejecutar con todas las GPUs:

docker build -t mimo-v2-flash .
docker run --gpus all -p 30000:30000 \
  --shm-size=64g \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  mimo-v2-flash

Configuración avanzada

Optimización de la decodificación especulativa

Ajusta finamente los parámetros especulativos según tu carga de trabajo:

# Para generación de código (mayor tasa de aceptación)
python -m sglang.launch_server \
  --model-path mimo-ai/MiMo-V2-Flash \
  --tp-size 8 \
  --enable-mtp \
  --mtp-max-draft-tokens 12 \
  --mtp-acceptance-rate 0.9 \
  --temperature 0.1

# Para escritura creativa (menor tasa de aceptación)
python -m sglang.launch_server \
  --model-path mimo-ai/MiMo-V2-Flash \
  --tp-size 8 \
  --enable-mtp \
  --mtp-max-draft-tokens 6 \
  --mtp-acceptance-rate 0.7 \
  --temperature 0.8

Optimización de memoria

Para configuraciones con memoria limitada:

# Reducir uso de memoria (más lento pero cabe en 4×A100)
python -m sglang.launch_server \
  --model-path mimo-ai/MiMo-V2-Flash \
  --tp-size 4 \
  --mem-fraction-static 0.75 \
  --context-length 16384 \
  --dtype float16 \
  --disable-cuda-graph  # Ahorra VRAM

Ejemplo de benchmarking

Prueba la ventaja de velocidad de MiMo-V2-Flash:

import time
from openai import OpenAI

client = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")

def benchmark_generation():
    start_time = time.time()
    
    response = client.chat.completions.create(
        model="mimo-v2-flash",
        messages=[
            {"role": "user", "content": "Write a detailed explanation of quantum computing in exactly 500 words"}
        ],
        max_tokens=600,
        temperature=0.1,
        stream=False
    )
    
    end_time = time.time()
    content = response.choices[0].message.content
    
    tokens = len(content.split())  # Estimación aproximada de tokens
    duration = end_time - start_time
    tokens_per_second = tokens / duration
    
    print(f"Generated {tokens} tokens in {duration:.2f}s")
    print(f"Speed: {tokens_per_second:.1f} tokens/second")
    
    return tokens_per_second

# Ejecutar benchmark
speed = benchmark_generation()
print(f"\nMiMo-V2-Flash achieved {speed:.1f} tok/s")

Consejos para usuarios de Clore.ai

• Multi-GPU esencial: MiMo-V2-Flash requiere como mínimo 4×A100 80GB. El despliegue en una sola GPU no es factible.

• Ventaja NVLink: Elige hosts de Clore.ai con NVLink entre GPUs para una comunicación multi-GPU óptima.

• Requisitos de RAM: Asegura 256GB+ de RAM del sistema para un funcionamiento fluido con 8 GPUs.

• Ajuste especulativo: Ajusta mtp-max-draft-tokens según tu caso de uso — mayor para tareas repetitivas, menor para trabajos creativos.

• Longitud de contexto: 32K de contexto es óptimo. Contextos más largos reducen la efectividad de la decodificación especulativa.

Solución de problemas

Problema	Solución
OutOfMemoryError al iniciar	Reducir mem-fraction-static o tp-size
Comunicación inter-GPU lenta	Verificar NVLink: nvidia-ml-py3 o nvidia-smi topo -m
MTP no acelera	Comprobar mtp-acceptance-rate — valores demasiado altos desactivan la especulación
Tiempo de espera al cargar el modelo	Pre-descargar: huggingface-cli download mimo-ai/MiMo-V2-Flash
Aceptación pobre de tokens	Verificar la configuración de temperatura — temperaturas muy bajas/altas reducen la aceptación

Comparación de rendimiento

Modelo	Tamaño	Velocidad (8×H100)	Calidad
GPT-4 Turbo	~1.7T	~15-25 tok/s	★★★★★
Claude Sonnet 3.5	~200B	~25-35 tok/s	★★★★★
MiMo-V2-Flash	309B	150+ tok/s	★★★★☆
Llama 3.1 405B	405B	~30-45 tok/s	★★★★☆

MiMo-V2-Flash logra una aceleración de 3-5x sobre modelos comparables mientras mantiene una calidad competitiva.

Recursos

• MiMo-V2-Flash en Hugging Face

• Artículo EAGLE

• Documentación de SGLang

• Predicción Multi-Token

• Guía de decodificación especulativa