For the complete documentation index, see llms.txt. This page is also available as Markdown.

Continue.dev AI Coding

Усильте Continue.dev с помощью GPU Clore.ai — запускайте CodeLlama 34B, DeepSeek Coder и Qwen2.5-Coder локально на дешёвой аренде GPU для приватной помощи в AI-кодинге.

Continue.dev — это AI-ассистент для кодинга с открытым исходным кодом для VS Code и JetBrains с более чем 25 тыс. звёзд на GitHub. Это расширение работает на вашем локальном компьютере (или в вашей IDE), но для инференса подключается к серверу бэкенд-модели. Если направить Continue.dev на мощный GPU, арендованный через Clore.ai, вы получите:

  • Модели для кодинга высшего уровня (с параметрами 34B+), которые не поместятся на вашем ноутбуке

  • Полную конфиденциальность — код остаётся на инфраструктуре, которую вы контролируете

  • Гибкие расходы — платите только пока пишете код (~$0.20–0.50/ч против $19/мес. за Copilot)

  • API, совместимый с OpenAI — Continue.dev без проблем подключается к Ollama, vLLM или TabbyML

Это руководство сосредоточено на настройке GPU-бэкенда Clore.ai (Ollama или vLLM), к которому подключается ваше локальное расширение Continue.dev.

Архитектура: Ваша IDE (с расширением Continue.dev) → Интернет → GPU-сервер Clore.ai (работающий Ollama / vLLM / TabbyML) → локальный инференс модели. Код никогда не попадает в сторонний API.

Обзор

Параметр
Подробности

Лицензия

Apache 2.0

Звёзды GitHub

25K+

Поддержка IDE

VS Code, JetBrains (IntelliJ, PyCharm, WebStorm, GoLand и т. д.)

Файл конфигурации

~/.continue/config.json

Варианты бэкенда

Ollama, vLLM, TabbyML, LM Studio, llama.cpp, API, совместимые с OpenAI

Сложность

Легко (установка расширения) / Средне (самостоятельно размещённый бэкенд)

Нужен GPU?

На сервере Clore.ai (да); на вашем ноутбуке (нет)

Ключевые особенности

Автодополнение, чат, режим редактирования, контекст кодовой базы (RAG), пользовательские slash-команды

Рекомендуемые модели для кодинга

Модель
VRAM
Сила
Примечания

codellama:7b

~6 ГБ

Быстрое автодополнение

Хорошая отправная точка

codellama:13b

~10 ГБ

Сбалансированная

Лучшее качество/скорость для автодополнения

codellama:34b

~22 ГБ

Лучшее качество CodeLlama

Требуется RTX 3090 / A100

deepseek-coder:6.7b

~5 ГБ

Специалист по Python/JS

Отлично подходит для веб-разработки

deepseek-coder:33b

~22 ГБ

Open source высшего уровня

Соперничает с GPT-4 по коду

qwen2.5-coder:7b

~6 ГБ

Многоязычный код

Сильна в более чем 40 языках

qwen2.5-coder:32b

~22 ГБ

Передовой

Лучшая open-source модель для кодинга 2024

starcoder2:15b

~12 ГБ

Специалист по автодополнению кода

Поддержка FIM (fill-in-the-middle)

Требования

Требования к серверу Clore.ai

Тариф
GPU
VRAM
ОЗУ
Диск
Цена
Модели

Бюджетная

RTX 3060

12 ГБ

16 ГБ

40 ГБ

$0.03–0.07/час

CodeLlama 7B, DeepSeek 6.7B, Qwen2.5-Coder 7B

Рекомендуется

RTX 3090

24 ГБ

32 ГБ

80 ГБ

$0.07–0.21/ч

CodeLlama 34B, DeepSeek 33B, Qwen2.5-Coder 32B

Производительность

RTX 4090

24 ГБ

32 ГБ

80 ГБ

$0.14–0.42/ч

Те же модели, что и выше, более быстрый инференс

Мощность

A100 40 ГБ

40 ГБ

64 ГБ

120 ГБ

Несколько моделей 34B одновременно

Максимум

A100 80 ГБ

80 ГБ

80 ГБ

200 ГБ

Модели 70B (CodeLlama 70B)

Локальные требования (ваша машина)

  • VS Code или любая IDE JetBrains

  • Установлено расширение Continue.dev

  • Стабильное интернет-соединение с вашим сервером Clore.ai

  • Локальный GPU не нужен — весь инференс происходит на Clore.ai

Быстрый старт

Часть 1: Настройка бэкенда Clore.ai

Вариант A — бэкенд Ollama (рекомендуется большинству пользователей)

Ollama — самый простой бэкенд для Continue.dev: простая настройка, отличное управление моделями, API, совместимый с OpenAI.

Чтобы сделать Ollama доступным извне (чтобы ваше локальное IDE могло подключиться):

Вариант B — бэкенд vLLM (высокая пропускная способность / совместимость с OpenAI)

vLLM обеспечивает более быстрый инференс и поддержку нескольких пользователей. Идеально, если несколько разработчиков используют один сервер Clore.ai.

Вариант C — бэкенд TabbyML (специалист по FIM-автодополнению)

TabbyML обеспечивает превосходное автодополнение fill-in-the-middle (FIM) — встроенные подсказки призрачным текстом. См. документацию TabbyML для полного описания настройки.

Часть 2: Установите расширение Continue.dev

VS Code:

  1. Откройте панель расширений (Ctrl+Shift+X / Cmd+Shift+X)

  2. Найдите "Continue" — установите официальное расширение от Continue (continuedev)

  3. Нажмите на значок Continue на боковой панели (или Ctrl+Shift+I)

JetBrains (IntelliJ, PyCharm, WebStorm, GoLand):

  1. Файл → Настройки → Плагины → Marketplace

  2. Найдите "Continue" и установите

  3. Перезапустите IDE; панель Continue появится в правой боковой панели

Часть 3: Настройте Continue.dev для использования Clore.ai

Отредактируйте ~/.continue/config.json на вашем локальном компьютере:

Для бэкенда vLLM вместо Ollama:

Для бэкенд TabbyML (только автодополнение):

Конфигурация

Настройка SSH-туннеля (безопасный удалённый доступ)

Вместо того чтобы открывать порты публично, используйте SSH-туннель с вашего локального компьютера:

Постоянный туннель с autossh

Загрузите несколько моделей для разных задач

Для RTX 3090 (24 ГБ) вы можете одновременно запускать большую чат-модель и маленькую модель автодополнения:

Индексирование кодовой базы (RAG для вашего репозитория)

Continue.dev может индексировать вашу кодовую базу для контекстно-зависимых подсказок. Скачайте модель эмбеддингов:

Ускорение на GPU

Контролируйте производительность инференса

Ожидаемая производительность по GPU

GPU
Модель
Контекст
Токенов/сек (примерно)

RTX 3060 12GB

CodeLlama 7B

8K

~40–60 т/с

RTX 3060 12GB

DeepSeek-Coder 6.7B

8K

~45–65 т/с

RTX 3090 24GB

Qwen2.5-Coder 32B (Q4)

16K

~15–25 т/с

RTX 3090 24GB

DeepSeek-Coder 33B (Q4)

16K

~15–22 т/с

RTX 4090 24GB

Qwen2.5-Coder 32B (Q4)

16K

~25–40 т/с

A100 40 ГБ

Qwen2.5-Coder 32B (FP16)

32K

~35–50 т/с

A100 80 ГБ

CodeLlama 70B (Q4)

32K

~20–30 т/с

Для автодополнения (fill-in-the-middle), starcoder2:3b или codellama:7b может достигать 50–100 т/с — достаточно быстро, чтобы ощущаться мгновенным в IDE.

Настройте Ollama для лучшей производительности

Советы и лучшие практики

Используйте разные модели для разных задач

Настройте Continue.dev со специализированными моделями для каждого типа задач — интерфейс позволяет переключать модели в середине разговора:

Сравнение стоимости

Решение
Ежемесячная стоимость (при использовании 8 ч/день)
Конфиденциальность
Качество модели

GitHub Copilot

$19/польз./мес.

❌ облако Microsoft

GPT-4o (закрытая)

Cursor Pro

$20/польз./мес.

❌ Облако Cursor

Claude 3.5 (закрытая)

RTX 3060 на Clore.ai

~$24/мес.

✅ Ваш сервер

CodeLlama 13B

RTX 3090 на Clore.ai

~$48/мес.

✅ Ваш сервер

Qwen2.5-Coder 32B

RTX 4090 на Clore.ai

~$84/мес.

✅ Ваш сервер

Qwen2.5-Coder 32B

A100 80GB на Clore.ai

~$264/мес.

✅ Ваш сервер

CodeLlama 70B

Для команды из 3+ разработчиков, использующих один RTX 3090 на Clore.ai (~$48/мес. всего), стоимость на одного пользователя ниже, чем у Copilot, при этом предоставляется более крупная приватная модель.

Выключайте, когда не кодируете

Clore.ai взимает плату почасово. Используйте простой скрипт для запуска/остановки сервера:

Используйте пользовательские команды Continue.dev

Добавьте пользовательские slash-команды в config.json для типичных рабочих процессов программирования:

Устранение неполадок

Проблема
Вероятная причина
Решение

Continue.dev показывает "Отказано в подключении"

Ollama недоступен

Проверьте, что SSH-туннель активен; убедитесь curl http://localhost:11434/ работает

Автодополнение не срабатывает

Модель автодополнения по Tab не задана

Добавьте tabAutocompleteModel в config.json; включите в настройках Continue

Очень медленные ответы (>30 с до первого токена)

Модель загружается с диска

Первый запрос загружает модель в VRAM — последующие запросы быстрые

Ошибка "Модель не найдена"

Модель не загружена

Запускайте docker exec ollama ollama pull <model-name> на сервере Clore.ai

Высокая задержка между токенами

Сетевая задержка или слишком большая модель

Используйте SSH-туннель; переключитесь на меньшую модель; проверьте загрузку GPU сервера

Контекст кодовой базы не работает

Отсутствует модель эмбеддингов

Загрузите nomic-embed-text через Ollama; проверьте embeddingsProvider в config.json

SSH-туннель часто разрывается

Нестабильное соединение

Используйте autossh для постоянного переподключения; добавьте ServerAliveInterval 30

Превышено окно контекста

Длинные файлы/диалоги

Уменьшите contextLength в config.json; используйте модель с более длинным контекстом

Плагин JetBrains не загружается

Несовместимость версии IDE

Обновите JetBrains IDE до последней версии; проверьте матрицу совместимости плагина Continue.dev

OOM в vLLM при загрузке

Недостаточно VRAM

Добавьте --gpu-memory-utilization 0.85; используйте меньшую модель или квантизированную версию

Команды для отладки

Проверка конфигурации Continue.dev

Дополнительное чтение

Последнее обновление

Это было полезно?