Зрительно-языковая модель Qwen2.5-VL

Запустите Qwen2.5-VL, ведущую open-source зрительно-языковую модель, для понимания изображений, видео и документов на GPU Clore.ai.

Qwen2.5-VL от Alibaba (декабрь 2024) — это лучшая по результатам open-weight модель для анализа изображений и текста (VLM). Доступная в размерах 3B, 7B и 72B, она понимает изображения, кадры видео, PDF-файлы, графики и сложные визуальные макеты. Вариант 7B попадает в золотую середину — он превосходит многие более крупные модели по бенчмаркам, при этом уверенно работает на одном GPU с 24 ГБ памяти.

На Clore.ai вы можете арендовать именно тот GPU, который нужен — от RTX 3090 для модели 7B до многопроцессорных конфигураций для варианта 72B — и начать анализировать визуальный контент за считанные минуты.

Ключевые особенности

• Мультимодальный ввод — изображения, видео, PDF-файлы, скриншоты, графики и диаграммы в одной модели.

• Три масштаба — 3B (edge/мобильные устройства), 7B (оптимум для продакшена), 72B (качество SOTA).

• Динамическое разрешение — обрабатывает изображения в их нативном разрешении; без принудительного изменения до 224×224.

• Понимание видео — принимает многокадровый видеоввод с временным рассуждением.

• OCR документов — извлекает текст из сканов документов, чеков и рукописных заметок.

• Многоязычность — высокая производительность на английском, китайском и более чем 20 других языках.

• Поддержка Ollama — запускайте локально с помощью ollama run qwen2.5vl:7b для развёртывания без написания кода.

• Интеграция с Transformers — Qwen2_5_VLForConditionalGeneration в HuggingFace transformers.

Требования

Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai. Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как голое железо по запросу. Проверьте Цены и доступность GPU перед выбором размера развёртывания.

Компонент	3B	7B	72B
VRAM GPU	8 ГБ	16–24 ГБ	80+ ГБ (multi-GPU)
Системная RAM	16 ГБ	32 ГБ	128 ГБ
Диск	10 ГБ	20 ГБ	150 ГБ
Python	3.10+	3.10+	3.10+
CUDA	12.8+	12.8+	12.8+

Рекомендация по GPU от Clore.ai: Для модели 7B, RTX 4090 (24 ГБ, $0.14–0.42/ч) или RTX 3090 (24 ГБ, $0.07–0.21/ч) — идеальный вариант. Для 72B, отфильтруйте маркетплейс по A100 80 ГБ или многопроцессорным конфигурациям.

Быстрый старт

Вариант A: Ollama (самый простой)

# Установите ollama
curl -fsSL https://ollama.ai/install.sh | sh

# Скачайте и запустите визуальную модель 7B
ollama run qwen2.5vl:7b

Затем в приглашении ollama:

>>> Опишите это изображение: /path/to/photo.jpg

Вариант B: Python / Transformers

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install transformers accelerate qwen-vl-utils pillow

Примеры использования

Понимание изображений с помощью Transformers

import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

model_name = "Qwen/Qwen2.5-VL-7B-Instruct"

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_name)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"},
            {"type": "text", "text": "Какой это вид насекомого? Опишите его ключевые идентифицирующие признаки."},
        ],
    }
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)

inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
).to(model.device)

output_ids = model.generate(**inputs, max_new_tokens=512)
response = processor.batch_decode(
    output_ids[:, inputs.input_ids.shape[1]:],
    skip_special_tokens=True,
)[0]

print(response)

Анализ видео

import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "file:///workspace/clip.mp4", "max_pixels": 360 * 420, "fps": 1.0},
            {"type": "text", "text": "Суммируйте, что происходит в этом видео. Перечислите ключевые события по порядку."},
        ],
    }
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)

inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
).to(model.device)

output_ids = model.generate(**inputs, max_new_tokens=1024)
print(processor.batch_decode(output_ids[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0])

OCR и извлечение данных из документов

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///workspace/receipt.jpg"},
            {"type": "text", "text": "Извлеките все позиции, количества и цены из этого чека. Верните в формате JSON."},
        ],
    }
]

# Обработайте, используя ту же настройку модели/процессора, что и выше
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt").to(model.device)
output_ids = model.generate(**inputs, max_new_tokens=2048)
print(processor.batch_decode(output_ids[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0])

API Ollama для пакетной обработки

import ollama
import base64
from pathlib import Path

def analyze_image(image_path: str, question: str) -> str:
    """Отправить изображение в Qwen2.5-VL через API Ollama."""
    image_data = base64.b64encode(Path(image_path).read_bytes()).decode()
    response = ollama.chat(
        model="qwen2.5vl:7b",
        messages=[{
            "role": "user",
            "content": question,
            "images": [image_data],
        }],
    )
    return response["message"]["content"]

# Пакетно обработать папку с изображениями
from pathlib import Path
for img in sorted(Path("./photos").glob("*.jpg")):
    result = analyze_image(str(img), "Опишите это изображение одним предложением.")
    print(f"{img.name}: {result}")

Советы для пользователей Clore.ai

1. Ollama для быстрого развёртывания — ollama run qwen2.5vl:7b — это самый быстрый путь к рабочей VLM. Для интерактивного использования Python-код не нужен.

2. 7B — оптимальный вариант — вариант Instruct 7B помещается в 16 ГБ VRAM при 4-битной квантизации и обеспечивает качество, сопоставимое с гораздо более крупными моделями.

3. Динамическое разрешение имеет значение — Qwen2.5-VL обрабатывает изображения в нативном разрешении. Для больших изображений (>4K) уменьшите ширину до максимум 1920 px, чтобы избежать чрезмерного использования VRAM.

4. Настройка FPS для видео — для ввода видео установите fps=1.0 чтобы сэмплировать 1 кадр в секунду. Более высокие значения быстро съедают VRAM; 1 fps достаточно для большинства задач анализа.

5. Постоянное хранилище — задайте HF_HOME=/workspace/hf_cache; модель 7B занимает около 15 ГБ. Для ollama модели сохраняются в ~/.ollama/models/.

6. Структурированный вывод — Qwen2.5-VL хорошо следует инструкциям по форматированию JSON. Попросите "Return as JSON", и в большинстве случаев вы получите вывод, который можно разобрать.

7. Сравнение нескольких изображений — вы можете передавать несколько изображений в одном сообщении для задач сравнения (например, "Какой из этих двух продуктов выглядит более премиально?").

8. tmux — всегда запускайте внутри tmux на арендованных машинах Clore.ai.

Устранение неполадок

Проблема	Исправьте
OutOfMemoryError с 7B	Используйте load_in_4bit=True в from_pretrained() с bitsandbytes; или используйте вариант 3B
Модель Ollama не найдена	ollama pull qwen2.5vl:7b — убедитесь, что используете правильный тег
Медленная обработка видео	Уменьшите fps до 0.5 и max_pixels до 256 * 256; меньше кадров = быстрее инференс
Искажённый или пустой вывод	Увеличьте max_new_tokens; значение по умолчанию может быть слишком низким для подробных описаний
ImportError: qwen_vl_utils	pip install qwen-vl-utils — требуется для process_vision_info()
Модель 72B не помещается	Используйте 2× A100 80 ГБ с device_map="auto" или примените квантизацию AWQ
Путь к изображению не найден	Для локальных файлов в сообщениях используйте file:///absolute/path формат
Китайский язык в выводе при запросе на английском	Добавьте в запрос: "Отвечай только на английском."