Continue.dev AI Coding
Усильте Continue.dev с помощью GPU Clore.ai — запускайте CodeLlama 34B, DeepSeek Coder и Qwen2.5-Coder локально на дешёвой аренде GPU для приватной помощи в AI-кодинге.
Continue.dev — это AI-ассистент для кодинга с открытым исходным кодом для VS Code и JetBrains с более чем 25 тыс. звёзд на GitHub. Это расширение работает на вашем локальном компьютере (или в вашей IDE), но для инференса подключается к серверу бэкенд-модели. Если направить Continue.dev на мощный GPU, арендованный через Clore.ai, вы получите:
Модели для кодинга высшего уровня (с параметрами 34B+), которые не поместятся на вашем ноутбуке
Полную конфиденциальность — код остаётся на инфраструктуре, которую вы контролируете
Гибкие расходы — платите только пока пишете код (~$0.20–0.50/ч против $19/мес. за Copilot)
API, совместимый с OpenAI — Continue.dev без проблем подключается к Ollama, vLLM или TabbyML
Это руководство сосредоточено на настройке GPU-бэкенда Clore.ai (Ollama или vLLM), к которому подключается ваше локальное расширение Continue.dev.
Все примеры GPU-серверов используют серверы, арендованные через маркетплейс CLORE.AI.
Обзор
Проект
Лицензия
Apache 2.0
Звёзды GitHub
25K+
Поддержка IDE
VS Code, JetBrains (IntelliJ, PyCharm, WebStorm, GoLand и т. д.)
Файл конфигурации
~/.continue/config.json
Варианты бэкенда
Ollama, vLLM, TabbyML, LM Studio, llama.cpp, API, совместимые с OpenAI
Сложность
Легко (установка расширения) / Средне (самостоятельно размещённый бэкенд)
Нужен GPU?
На сервере Clore.ai (да); на вашем ноутбуке (нет)
Ключевые особенности
Автодополнение, чат, режим редактирования, контекст кодовой базы (RAG), пользовательские slash-команды
Рекомендуемые модели для кодинга
codellama:7b
~6 ГБ
Быстрое автодополнение
Хорошая отправная точка
codellama:13b
~10 ГБ
Сбалансированная
Лучшее качество/скорость для автодополнения
codellama:34b
~22 ГБ
Лучшее качество CodeLlama
Требуется RTX 3090 / A100
deepseek-coder:6.7b
~5 ГБ
Специалист по Python/JS
Отлично подходит для веб-разработки
deepseek-coder:33b
~22 ГБ
Open source высшего уровня
Соперничает с GPT-4 по коду
qwen2.5-coder:7b
~6 ГБ
Многоязычный код
Сильна в более чем 40 языках
qwen2.5-coder:32b
~22 ГБ
Передовой
Лучшая open-source модель для кодинга 2024
starcoder2:15b
~12 ГБ
Специалист по автодополнению кода
Поддержка FIM (fill-in-the-middle)
Требования
Требования к серверу Clore.ai
Бюджетная
RTX 3060
12 ГБ
16 ГБ
40 ГБ
$0.03–0.07/час
CodeLlama 7B, DeepSeek 6.7B, Qwen2.5-Coder 7B
Рекомендуется
RTX 3090
24 ГБ
32 ГБ
80 ГБ
$0.07–0.21/ч
CodeLlama 34B, DeepSeek 33B, Qwen2.5-Coder 32B
Производительность
RTX 4090
24 ГБ
32 ГБ
80 ГБ
$0.14–0.42/ч
Те же модели, что и выше, более быстрый инференс
Локальные требования (ваша машина)
VS Code или любая IDE JetBrains
Установлено расширение Continue.dev
Стабильное интернет-соединение с вашим сервером Clore.ai
Локальный GPU не нужен — весь инференс происходит на Clore.ai
Быстрый старт
Часть 1: Настройка бэкенда Clore.ai
Вариант A — бэкенд Ollama (рекомендуется большинству пользователей)
Ollama — самый простой бэкенд для Continue.dev: простая настройка, отличное управление моделями, API, совместимый с OpenAI.
Чтобы сделать Ollama доступным извне (чтобы ваше локальное IDE могло подключиться):
Порт 11434, открытый публично, по умолчанию не имеет аутентификации. Для использования в production вместо этого настройте SSH-туннель (см. Советы и лучшие практики).
Вариант B — бэкенд vLLM (высокая пропускная способность / совместимость с OpenAI)
vLLM обеспечивает более быстрый инференс и поддержку нескольких пользователей. Идеально, если несколько разработчиков используют один сервер Clore.ai.
Вариант C — бэкенд TabbyML (специалист по FIM-автодополнению)
TabbyML обеспечивает превосходное автодополнение fill-in-the-middle (FIM) — встроенные подсказки призрачным текстом. См. документацию TabbyML для полного описания настройки.
Часть 2: Установите расширение Continue.dev
VS Code:
Откройте панель расширений (
Ctrl+Shift+X/Cmd+Shift+X)Найдите "Continue" — установите официальное расширение от Continue (continuedev)
Нажмите на значок Continue на боковой панели (или
Ctrl+Shift+I)
JetBrains (IntelliJ, PyCharm, WebStorm, GoLand):
Файл → Настройки → Плагины → MarketplaceНайдите "Continue" и установите
Перезапустите IDE; панель Continue появится в правой боковой панели
Часть 3: Настройте Continue.dev для использования Clore.ai
Отредактируйте ~/.continue/config.json на вашем локальном компьютере:
Для бэкенда vLLM вместо Ollama:
Для бэкенд TabbyML (только автодополнение):
Конфигурация
Настройка SSH-туннеля (безопасный удалённый доступ)
Вместо того чтобы открывать порты публично, используйте SSH-туннель с вашего локального компьютера:
Постоянный туннель с autossh
Загрузите несколько моделей для разных задач
Для RTX 3090 (24 ГБ) вы можете одновременно запускать большую чат-модель и маленькую модель автодополнения:
Индексирование кодовой базы (RAG для вашего репозитория)
Continue.dev может индексировать вашу кодовую базу для контекстно-зависимых подсказок. Скачайте модель эмбеддингов:
Ускорение на GPU
Контролируйте производительность инференса
Ожидаемая производительность по GPU
RTX 3060 12GB
CodeLlama 7B
8K
~40–60 т/с
RTX 3060 12GB
DeepSeek-Coder 6.7B
8K
~45–65 т/с
RTX 3090 24GB
Qwen2.5-Coder 32B (Q4)
16K
~15–25 т/с
RTX 3090 24GB
DeepSeek-Coder 33B (Q4)
16K
~15–22 т/с
RTX 4090 24GB
Qwen2.5-Coder 32B (Q4)
16K
~25–40 т/с
A100 40 ГБ
Qwen2.5-Coder 32B (FP16)
32K
~35–50 т/с
A100 80 ГБ
CodeLlama 70B (Q4)
32K
~20–30 т/с
Для автодополнения (fill-in-the-middle), starcoder2:3b или codellama:7b может достигать 50–100 т/с — достаточно быстро, чтобы ощущаться мгновенным в IDE.
Настройте Ollama для лучшей производительности
Советы и лучшие практики
Используйте разные модели для разных задач
Настройте Continue.dev со специализированными моделями для каждого типа задач — интерфейс позволяет переключать модели в середине разговора:
Сравнение стоимости
GitHub Copilot
$19/польз./мес.
❌ облако Microsoft
GPT-4o (закрытая)
Cursor Pro
$20/польз./мес.
❌ Облако Cursor
Claude 3.5 (закрытая)
RTX 3060 на Clore.ai
~$24/мес.
✅ Ваш сервер
CodeLlama 13B
RTX 3090 на Clore.ai
~$48/мес.
✅ Ваш сервер
Qwen2.5-Coder 32B
RTX 4090 на Clore.ai
~$84/мес.
✅ Ваш сервер
Qwen2.5-Coder 32B
A100 80GB на Clore.ai
~$264/мес.
✅ Ваш сервер
CodeLlama 70B
Для команды из 3+ разработчиков, использующих один RTX 3090 на Clore.ai (~$48/мес. всего), стоимость на одного пользователя ниже, чем у Copilot, при этом предоставляется более крупная приватная модель.
Выключайте, когда не кодируете
Clore.ai взимает плату почасово. Используйте простой скрипт для запуска/остановки сервера:
Используйте пользовательские команды Continue.dev
Добавьте пользовательские slash-команды в config.json для типичных рабочих процессов программирования:
Устранение неполадок
Continue.dev показывает "Отказано в подключении"
Ollama недоступен
Проверьте, что SSH-туннель активен; убедитесь curl http://localhost:11434/ работает
Автодополнение не срабатывает
Модель автодополнения по Tab не задана
Добавьте tabAutocompleteModel в config.json; включите в настройках Continue
Очень медленные ответы (>30 с до первого токена)
Модель загружается с диска
Первый запрос загружает модель в VRAM — последующие запросы быстрые
Ошибка "Модель не найдена"
Модель не загружена
Запускайте docker exec ollama ollama pull <model-name> на сервере Clore.ai
Высокая задержка между токенами
Сетевая задержка или слишком большая модель
Используйте SSH-туннель; переключитесь на меньшую модель; проверьте загрузку GPU сервера
Контекст кодовой базы не работает
Отсутствует модель эмбеддингов
Загрузите nomic-embed-text через Ollama; проверьте embeddingsProvider в config.json
SSH-туннель часто разрывается
Нестабильное соединение
Используйте autossh для постоянного переподключения; добавьте ServerAliveInterval 30
Превышено окно контекста
Длинные файлы/диалоги
Уменьшите contextLength в config.json; используйте модель с более длинным контекстом
Плагин JetBrains не загружается
Несовместимость версии IDE
Обновите JetBrains IDE до последней версии; проверьте матрицу совместимости плагина Continue.dev
OOM в vLLM при загрузке
Недостаточно VRAM
Добавьте --gpu-memory-utilization 0.85; используйте меньшую модель или квантизированную версию
Команды для отладки
Проверка конфигурации Continue.dev
Дополнительное чтение
Документация Continue.dev — официальная документация по всем интеграциям IDE и параметрам конфигурации
GitHub Continue.dev — исходный код, проблемы, совместимость моделей
Справочник по конфигурации Continue.dev — полный
config.jsonсхемаOllama на Clore.ai — подробное руководство по настройке Ollama (рекомендуемый бэкенд)
vLLM на Clore.ai — высокопроизводительный альтернативный бэкенд для команд
TabbyML — специализированный бэкенд автодополнения с оптимизацией FIM
Руководство по сравнению GPU — выберите подходящий GPU для вашей нагрузки на кодирование
Совместимость моделей — какие модели помещаются в какие объёмы VRAM
Qwen2.5-Coder — на данный момент лучшая открытая модель для программирования
DeepSeek-Coder-V2 — сильная альтернатива с длинным контекстом
маркетплейс CLORE.AI — арендуйте GPU-серверы
Последнее обновление
Это было полезно?