For the complete documentation index, see llms.txt. This page is also available as Markdown.

Procesamiento por lotes

Procesa grandes cargas de trabajo de IA de forma eficiente en las GPU de Clore.ai

Procesa grandes cargas de trabajo eficientemente en las GPUs de CLORE.AI.

Usando el SDK de clore-ai para infraestructura por lotes (recomendado)

El SDK oficial simplifica el aprovisionamiento de GPU por lotes con compatibilidad asíncrona:

import asyncio
from clore_ai import AsyncCloreAI

async def batch_deploy(server_ids):
    """Despliega en múltiples servidores simultáneamente."""
    async with AsyncCloreAI() as client:
        tasks = [
            client.create_order(
                server_id=sid,
                image="cloreai/ubuntu22.04-cuda12",
                type="on-demand",
                currency="bitcoin",
                ssh_password="BatchPass123",
                ports={"22": "tcp"}
            )
            for sid in server_ids
        ]
        results = await asyncio.gather(*tasks, return_exceptions=True)
        for sid, result in zip(server_ids, results):
            if isinstance(result, Exception):
                print(f"❌ Servidor {sid}: {result}")
            else:
                print(f"✅ Servidor {sid}: Pedido {result.id}")
        return results

# Desplegar en 5 servidores a la vez
asyncio.run(batch_deploy([142, 305, 891, 450, 612]))

→ Ver Guía del SDK de Python y Automatización con CLI para más información.


Cuándo usar el procesamiento por lotes

  • Procesamiento de cientos/miles de elementos

  • Conversión de grandes conjuntos de datos

  • Generación de muchas imágenes/videos

  • Transcripción masiva

  • Preparación de datos de entrenamiento


Procesamiento por lotes de LLM

API por lotes de vLLM

vLLM maneja el agrupamiento automáticamente con batching continuo:

Procesamiento por lotes asíncrono (más rápido)

Lote con seguimiento del progreso

Guardar el progreso para lotes largos


Lote de generación de imágenes

Lote de SD WebUI

Lote de ComfyUI con cola

Procesamiento por lotes de FLUX


Procesamiento por lotes de audio

Transcripción por lotes de Whisper

Whisper en paralelo (múltiples GPUs)


Procesamiento por lotes de video

Generación de videos por lotes (SVD)


Patrones de canalización de datos

Patrón productor-consumidor

Patrón Map-Reduce


Consejos de optimización

1. Ajustar adecuadamente la concurrencia

2. Ajuste del tamaño del lote

3. Gestión de memoria

4. Guardar resultados intermedios


Optimización de costos

Estimar antes de ejecutar

Usa instancias Spot

  • Más barato en aproximadamente un tercio de los servidores (mediana de ~13% de descuento sobre el precio bajo demanda)

  • Bueno para trabajos por lotes (interrumpibles)

  • Guarda puntos de control con frecuencia

Procesamiento fuera de horas pico

  • Pone en cola los trabajos durante las horas de baja demanda

  • A menudo mejor disponibilidad de GPU

  • Posiblemente precios spot más bajos


Siguientes pasos

Última actualización

¿Te fue útil?