CodeLlama

Генерируйте, дополняйте и объясняйте код с CodeLlama на Clore.ai

Более новые альтернативы! Для задач по кодированию рассмотрите Qwen2.5-Coder (32B, передовая генерация кода) или DeepSeek-R1 (рассуждения + кодирование). CodeLlama по-прежнему полезна для лёгких развёртываний.

Генерируйте, дополняйте и объясняйте код с помощью CodeLlama от Meta.

Все примеры можно запускать на GPU-серверах, арендованных через маркетплейс CLORE.AI.

Аренда на CLORE.AI

1. Перейдите на маркетплейс CLORE.AI

2. Отфильтруйте по типу GPU, объёму VRAM и цене

3. Выберите On-Demand (фиксированная ставка) или Spot (цена ставки)

4. Настройте свой заказ:

   • Выберите Docker-образ

   • Установите порты (TCP для SSH, HTTP для веб-интерфейсов)

   • При необходимости добавьте переменные окружения

   • Введите команду запуска

5. Выберите способ оплаты: CLORE, BTC, или USDT/USDC

6. Создайте заказ и дождитесь развертывания

Получите доступ к своему серверу

• Найдите данные для подключения в Мои заказы

• Веб-интерфейсы: используйте URL HTTP-порта

• SSH: ssh -p <port> root@<proxy-address>

Варианты модели

Модель	Размер	VRAM	Лучше всего для
CodeLlama-7B	7B	8 ГБ	Быстрое завершение
CodeLlama-13B	13B	16GB	Сбалансировано
CodeLlama-34B	34B	40 ГБ	Лучшее качество
CodeLlama-70B	70B	80GB+	Максимальное качество

Варианты

• Базовая: Завершение кода

• Instruct: Следование инструкциям

• Python: Специализированная для Python

Быстрое развёртывание

Docker-образ:

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-runtime

Порты:

22/tcp
8000/http

Команда:

pip install vllm && \\
python -m vllm.entrypoints.openai.api_server \\
    --model codellama/CodeLlama-7b-Instruct-hf \\
    --port 8000

Доступ к вашему сервису

После развертывания найдите свой http_pub URL в Мои заказы:

1. Перейдите на Мои заказы страницу

2. Нажмите на свой заказ

3. Найдите http_pub URL (например, abc123.clorecloud.net)

Используйте https://YOUR_HTTP_PUB_URL вместо localhost в примерах ниже.

Установка

Использование Ollama

# Установите Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Запуск CodeLlama
ollama run codellama

# Запуск варианта для Python
ollama run codellama:python

Использование Transformers

pip install transformers accelerate

Завершение кода

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "codellama/CodeLlama-7b-hf"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Завершение кода
code = """
def fibonacci(n):
    '''Вычислить n-е число Фибоначчи'''
"""

inputs = tokenizer(code, return_tensors="pt").to("cuda")

outputs = model.generate(
    **inputs,
    max_new_tokens=200,
    temperature=0.2,
    do_sample=True
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Модель Instruct

Для выполнения следующих инструкций по кодированию:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "codellama/CodeLlama-7b-Instruct-hf"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = """[INST] Напишите функцию на Python, которая:
1. Принимает список чисел
2. Удаляет дубликаты
3. Сортирует по убыванию
4. Возвращает 5 первых элементов
[/INST]"""

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(
    **inputs,
    max_new_tokens=500,
    temperature=0.2
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Заполнение середины (FIM)

# CodeLlama поддерживает FIM для вставки кода
prefix = """def calculate_area(shape, dimensions):
    if shape == "circle":
        radius = dimensions[0]
"""

suffix = """
    elif shape == "rectangle":
        length, width = dimensions
        return length * width
    return None
"""

# Используйте специальные токены для FIM
prompt = f"<PRE> {prefix} <SUF>{suffix} <MID>"

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)

Модель, специализированная для Python

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "codellama/CodeLlama-7b-Python-hf"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Завершение, специфичное для Python
code = """
import pandas as pd
import numpy as np

def analyze_sales_data(df):
    '''Проанализировать данные о продажах и вернуть ключевые метрики'''
"""

inputs = tokenizer(code, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Сервер vLLM

python -m vllm.entrypoints.openai.api_server \\
    --model codellama/CodeLlama-13b-Instruct-hf \\
    --dtype float16 \\
    --max-model-len 8192

Использование API

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="x")

response = client.chat.completions.create(
    model="codellama/CodeLlama-13b-Instruct-hf",
    messages=[
        {"role": "user", "content": "Напишите endpoint на FastAPI для аутентификации пользователя"}
    ],
    temperature=0.2,
    max_tokens=1000
)

print(response.choices[0].message.content)

Объяснение кода

code_to_explain = """
def quicksort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[len(arr) // 2]
    left = [x for x in arr if x < pivot]
    middle = [x for x in arr if x == pivot]
    right = [x for x in arr if x > pivot]
    return quicksort(left) + middle + quicksort(right)
"""

prompt = f"[INST] Объясните этот код шаг за шагом:\n\n{code_to_explain}\n[/INST]"

Исправление ошибок

buggy_code = """
def reverse_string(s):
    result = ""
    for i in range(len(s)):
        result += s[i]
    return result
"""

prompt = f"""[INST] Найдите и исправьте ошибку в этом коде. Функция должна разворачивать строку:

{buggy_code}
[/INST]"""

Перевод кода

python_code = """
def factorial(n):
    if n <= 1:
        return 1
    return n * factorial(n - 1)
"""

prompt = f"""[INST] Преобразуйте этот Python-код в JavaScript:

{python_code}
[/INST]"""

Интерфейс Gradio

import gradio as gr
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "codellama/CodeLlama-7b-Instruct-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

def generate_code(instruction, temperature, max_tokens):
    prompt = f"[INST] {instruction} [/INST]"
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

    outputs = model.generate(
        **inputs,
        max_new_tokens=max_tokens,
        temperature=temperature,
        do_sample=True
    )

    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response.split("[/INST]")[-1].strip()

demo = gr.Interface(
    fn=generate_code,
    inputs=[
        gr.Textbox(label="Инструкция", lines=5, placeholder="Напишите функцию на Python, которая..."),
        gr.Slider(0.1, 1.0, value=0.2, label="Температура"),
        gr.Slider(100, 2000, value=500, step=100, label="Макс. токены")
    ],
    outputs=gr.Code(language="python", label="Сгенерированный код"),
    title="Генератор кода CodeLlama"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Пакетная обработка

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "codellama/CodeLlama-7b-Instruct-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

tasks = [
    "Напишите функцию для проверки адресов электронной почты",
    "Создайте класс для управления корзиной покупок",
    "Напишите функцию для разбора JSON из URL",
    "Создайте декоратор для измерения времени выполнения функции",
    "Напишите функцию для генерации случайных паролей"
]

for task in tasks:
    prompt = f"[INST] {task} [/INST]"
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

    outputs = model.generate(
        **inputs,
        max_new_tokens=500,
        temperature=0.2
    )

    result = tokenizer.decode(outputs[0], skip_special_tokens=True)
    print(f"\n=== {task} ===")
    print(result.split("[/INST]")[-1].strip())

Использование с Continue (VSCode)

Настройте расширение Continue:

{
  "models": [
    {
      "title": "CodeLlama",
      "provider": "ollama",
      "model": "codellama:7b-instruct"
    }
  ],
  "tabAutocompleteModel": {
    "title": "CodeLlama",
    "provider": "ollama",
    "model": "codellama:7b-code"
  }
}

Производительность

Модель	GPU	Токенов/сек
CodeLlama-7B	RTX 3090	~90
CodeLlama-7B	RTX 4090	~130
CodeLlama-13B	RTX 4090	~70
CodeLlama-34B	A100	~50

Устранение неполадок

Плохое качество кода

• Низкая температура (0.1-0.3)

• Используйте вариант Instruct

• Более крупная модель, если возможно

Неполный вывод

• Увеличьте max_new_tokens

• Проверьте длину контекста

Медленная генерация

• Используйте vLLM

• Квантируйте модель

• Используйте меньший вариант

Оценка стоимости

Типичные цены на маркетплейсе CLORE.AI (по состоянию на 2024 год):

GPU	Почасовая ставка	Дневная ставка	4-часовая сессия
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 ГБ	~$0.17	~$4.00	~$0.70
A100 80 ГБ	~$0.25	~$6.00	~$1.00

Цены зависят от провайдера и спроса. Проверьте маркетплейс CLORE.AI актуальные тарифы.

Сэкономьте деньги:

• Используйте Spot рынок для прерываемых задач — примерно треть серверов оценивает spot-цены ниже on-demand (медиана ~13% скидки), остальные совпадают с ними

• Платите CLORE токенами

• Сравните цены у разных провайдеров

Дальнейшие шаги

• Open Interpreter — выполнение кода

• Инференс vLLM — промышленное обслуживание

• Mistral/Mixtral — альтернативные модели