> For the complete documentation index, see [llms.txt](https://docs.clore.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.clore.ai/guides/guides_v2-ru/modeli-dlya-zreniya/qwen-vl.md).

# Зрительно-языковая модель Qwen2.5-VL

Запустите Qwen2.5-VL, ведущую open-source зрительно-языковую модель, для понимания изображений, видео и документов на GPU Clore.ai.

Qwen2.5-VL от Alibaba (декабрь 2024) — это лучшая по результатам open-weight модель для анализа изображений и текста (VLM). Доступная в размерах 3B, 7B и 72B, она понимает изображения, кадры видео, PDF-файлы, графики и сложные визуальные макеты. Вариант 7B попадает в золотую середину — он превосходит многие более крупные модели по бенчмаркам, при этом уверенно работает на одном GPU с 24 ГБ памяти.

На [Clore.ai](https://clore.ai/) вы можете арендовать именно тот GPU, который нужен — от RTX 3090 для модели 7B до многопроцессорных конфигураций для варианта 72B — и начать анализировать визуальный контент за считанные минуты.

## Ключевые особенности

* **Мультимодальный ввод** — изображения, видео, PDF-файлы, скриншоты, графики и диаграммы в одной модели.
* **Три масштаба** — 3B (edge/мобильные устройства), 7B (оптимум для продакшена), 72B (качество SOTA).
* **Динамическое разрешение** — обрабатывает изображения в их нативном разрешении; без принудительного изменения до 224×224.
* **Понимание видео** — принимает многокадровый видеоввод с временным рассуждением.
* **OCR документов** — извлекает текст из сканов документов, чеков и рукописных заметок.
* **Многоязычность** — высокая производительность на английском, китайском и более чем 20 других языках.
* **Поддержка Ollama** — запускайте локально с помощью `ollama run qwen2.5vl:7b` для развёртывания без написания кода.
* **Интеграция с Transformers** — `Qwen2_5_VLForConditionalGeneration` в HuggingFace `transformers`.

## Требования

{% hint style="warning" %}
**Многопроцессорные конфигурации с GPU класса 80GB не представлены на маркетплейсе Clore.ai.** Самые крупные доступные сейчас машины — это 4× RTX PRO 6000 Blackwell (по 96GB, всего 380GB) и 8–11× RTX 5090 (по 32GB). Ёмкость A100 / H200 / B200 продаётся как [голое железо](https://clore.ai/bare-metal) по запросу. Проверьте [Цены и доступность GPU](/guides/guides_v2-ru/nachalo-raboty/pricing.md) перед выбором размера развёртывания.
{% endhint %}

| Компонент     | 3B    | 7B       | 72B                |
| ------------- | ----- | -------- | ------------------ |
| VRAM GPU      | 8 ГБ  | 16–24 ГБ | 80+ ГБ (multi-GPU) |
| Системная RAM | 16 ГБ | 32 ГБ    | 128 ГБ             |
| Диск          | 10 ГБ | 20 ГБ    | 150 ГБ             |
| Python        | 3.10+ | 3.10+    | 3.10+              |
| CUDA          | 12.8+ | 12.8+    | 12.8+              |

**Рекомендация по GPU от Clore.ai:** Для **модели 7B**, **RTX 4090** (24 ГБ, $0.14–0.42/ч) или **RTX 3090** (24 ГБ, $0.07–0.21/ч) — идеальный вариант. Для **72B**, отфильтруйте маркетплейс по **A100 80 ГБ** или многопроцессорным конфигурациям.

## Быстрый старт

### Вариант A: Ollama (самый простой)

```bash
# Установите ollama
curl -fsSL https://ollama.ai/install.sh | sh

# Скачайте и запустите визуальную модель 7B
ollama run qwen2.5vl:7b
```

Затем в приглашении ollama:

```
>>> Опишите это изображение: /path/to/photo.jpg
```

### Вариант B: Python / Transformers

```bash
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install transformers accelerate qwen-vl-utils pillow
```

## Примеры использования

### Понимание изображений с помощью Transformers

```python
import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

model_name = "Qwen/Qwen2.5-VL-7B-Instruct"

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_name)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"},
            {"type": "text", "text": "Какой это вид насекомого? Опишите его ключевые идентифицирующие признаки."},
        ],
    }
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)

inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
).to(model.device)

output_ids = model.generate(**inputs, max_new_tokens=512)
response = processor.batch_decode(
    output_ids[:, inputs.input_ids.shape[1]:],
    skip_special_tokens=True,
)[0]

print(response)
```

### Анализ видео

```python
import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "file:///workspace/clip.mp4", "max_pixels": 360 * 420, "fps": 1.0},
            {"type": "text", "text": "Суммируйте, что происходит в этом видео. Перечислите ключевые события по порядку."},
        ],
    }
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)

inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
).to(model.device)

output_ids = model.generate(**inputs, max_new_tokens=1024)
print(processor.batch_decode(output_ids[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0])
```

### OCR и извлечение данных из документов

```python
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///workspace/receipt.jpg"},
            {"type": "text", "text": "Извлеките все позиции, количества и цены из этого чека. Верните в формате JSON."},
        ],
    }
]

# Обработайте, используя ту же настройку модели/процессора, что и выше
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt").to(model.device)
output_ids = model.generate(**inputs, max_new_tokens=2048)
print(processor.batch_decode(output_ids[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)[0])
```

### API Ollama для пакетной обработки

```python
import ollama
import base64
from pathlib import Path

def analyze_image(image_path: str, question: str) -> str:
    """Отправить изображение в Qwen2.5-VL через API Ollama."""
    image_data = base64.b64encode(Path(image_path).read_bytes()).decode()
    response = ollama.chat(
        model="qwen2.5vl:7b",
        messages=[{
            "role": "user",
            "content": question,
            "images": [image_data],
        }],
    )
    return response["message"]["content"]

# Пакетно обработать папку с изображениями
from pathlib import Path
for img in sorted(Path("./photos").glob("*.jpg")):
    result = analyze_image(str(img), "Опишите это изображение одним предложением.")
    print(f"{img.name}: {result}")
```

## Советы для пользователей Clore.ai

1. **Ollama для быстрого развёртывания** — `ollama run qwen2.5vl:7b` — это самый быстрый путь к рабочей VLM. Для интерактивного использования Python-код не нужен.
2. **7B — оптимальный вариант** — вариант Instruct 7B помещается в 16 ГБ VRAM при 4-битной квантизации и обеспечивает качество, сопоставимое с гораздо более крупными моделями.
3. **Динамическое разрешение имеет значение** — Qwen2.5-VL обрабатывает изображения в нативном разрешении. Для больших изображений (>4K) уменьшите ширину до максимум 1920 px, чтобы избежать чрезмерного использования VRAM.
4. **Настройка FPS для видео** — для ввода видео установите `fps=1.0` чтобы сэмплировать 1 кадр в секунду. Более высокие значения быстро съедают VRAM; 1 fps достаточно для большинства задач анализа.
5. **Постоянное хранилище** — задайте `HF_HOME=/workspace/hf_cache`; модель 7B занимает около 15 ГБ. Для ollama модели сохраняются в `~/.ollama/models/`.
6. **Структурированный вывод** — Qwen2.5-VL хорошо следует инструкциям по форматированию JSON. Попросите "Return as JSON", и в большинстве случаев вы получите вывод, который можно разобрать.
7. **Сравнение нескольких изображений** — вы можете передавать несколько изображений в одном сообщении для задач сравнения (например, "Какой из этих двух продуктов выглядит более премиально?").
8. **tmux** — всегда запускайте внутри `tmux` на арендованных машинах Clore.ai.

## Устранение неполадок

| Проблема                                          | Исправьте                                                                                          |
| ------------------------------------------------- | -------------------------------------------------------------------------------------------------- |
| `OutOfMemoryError` с 7B                           | Используйте `load_in_4bit=True` в `from_pretrained()` с `bitsandbytes`; или используйте вариант 3B |
| Модель Ollama не найдена                          | `ollama pull qwen2.5vl:7b` — убедитесь, что используете правильный тег                             |
| Медленная обработка видео                         | Уменьшите `fps` до 0.5 и `max_pixels` до `256 * 256`; меньше кадров = быстрее инференс             |
| Искажённый или пустой вывод                       | Увеличьте `max_new_tokens`; значение по умолчанию может быть слишком низким для подробных описаний |
| `ImportError: qwen_vl_utils`                      | `pip install qwen-vl-utils` — требуется для `process_vision_info()`                                |
| Модель 72B не помещается                          | Используйте 2× A100 80 ГБ с `device_map="auto"` или примените квантизацию AWQ                      |
| Путь к изображению не найден                      | Для локальных файлов в сообщениях используйте `file:///absolute/path` формат                       |
| Китайский язык в выводе при запросе на английском | Добавьте в запрос: "Отвечай только на английском."                                                 |


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.clore.ai/guides/guides_v2-ru/modeli-dlya-zreniya/qwen-vl.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.