TabbyML कोड कंप्लीशन

Clore.ai पर निजी GitHub Copilot विकल्प के रूप में TabbyML को सेल्फ-होस्ट करें

TabbyML एक स्वयं-होस्टेड एआई कोड पूर्णता सर्वर है — GitHub Copilot का ड्रॉप-इन विकल्प जो आपका कोड पूरी तरह से आपकी अपनी इंफ्रास्ट्रक्चर पर रखता है। Apache 2.0 के तहत लाइसेंस प्राप्त, यह Clore.ai GPUs पर चलता है और आधिकारिक एक्सटेंशनों के माध्यम से VS Code, JetBrains और Vim/Neovim से जुड़ता है। मॉडल StarCoder2-1B (4 GB VRAM पर फिट होता है) से लेकर StarCoder2-15B और सर्वोत्तम गुणवत्ता के लिए DeepSeek-Coder तक हैं।

सभी उदाहरण GPU सर्वरों पर चलते हैं जो कि के माध्यम से किराये पर लिए गए हैं CLORE.AI मार्केटप्लेस.

प्रमुख विशेषताएँ

• स्वयं-होस्टेड Copilot विकल्प — आपका कोड कभी भी आपके सर्वर से बाहर नहीं जाता

• Apache 2.0 लाइसेंस — व्यावसायिक उपयोग के लिए मुफ्त, कोई प्रतिबंध नहीं

• IDE एक्सटेंशन — VS Code, JetBrains (IntelliJ, PyCharm, WebStorm), Vim/Neovim

• कई मॉडल — StarCoder2 (1B/3B/7B/15B), DeepSeek-Coder, CodeLlama

• रिपॉजिटरी संदर्भ — प्रोजेक्ट-सचेत पूर्णताओं के लिए RAG- संचालित कोड पुनर्प्राप्ति

• Docker परिनियोजन — GPU समर्थन के साथ लॉन्च करने के लिए एक कमांड

• एडमिन डैशबोर्ड — उपयोग विश्लेषिकी, मॉडल प्रबंधन, उपयोगकर्ता प्रबंधन

• चैट इंटरफ़ेस — ऑटोकम्पलीशन से परे कोडिंग प्रश्न पूछें

आवश्यकताएँ

घटक	न्यूनतम	अनुशंसित
GPU	RTX 3060 12 GB	RTX 3080 10 GB+
VRAM	4 GB	10 GB
RAM	8 GB	16 GB
डिस्क	20 GB	50 GB
CUDA	11.8	12.1+

Clore.ai मूल्य निर्धारण: RTX 3080 ≈ $0.3–1/दिन · RTX 3060 ≈ $0.15–0.3/दिन

TabbyML हल्का है — यहाँ तक कि एक RTX 3060 भी StarCoder2-7B को तेज़ इन्फ़रेंस के साथ चला सकता है।

त्वरित आरंभ

1. Docker से परिनियोजित करें

# GPU पर StarCoder2-7B (गुणवत्ता और गति का अनुशंसित संतुलन)
docker run -d \
  --name tabby \
  --gpus all \
  -p 8080:8080 \
  -v /workspace/tabby-data:/data \
  tabbyml/tabby \
  serve \
  --model StarCoder2-7B \
  --device cuda

# पुष्टि करें कि यह चल रहा है
curl http://localhost:8080/v1/health

2. एक मॉडल चुनें

मॉडल	VRAM	स्पीड	गुणवत्ता	उत्तम हेतु
StarCoder2-1B	~3 GB	सबसे तेज	बेसिक	RTX 3060, तेज़ प्रारूप / ड्राफ्ट
StarCoder2-3B	~5 GB	तेज़	अच्छा	सामान्य विकास के लिए
StarCoder2-7B	~8 GB	मध्यम	उच्च	अनुशंसित डिफ़ॉल्ट
StarCoder2-15B	~16 GB	धीमा	सर्वोत्तम	जटिल कोडबेस के लिए
DeepSeek-Coder-6.7B	~8 GB	मध्यम	उच्च	Python, JS, TypeScript
CodeLlama-7B	~8 GB	मध्यम	अच्छा	सामान्य प्रयोजन

मॉडल बदलने के लिए बदलें --model फ्लैग:

# कम VRAM के लिए हल्का मॉडल
docker run -d --gpus all -p 8080:8080 \
  -v /workspace/tabby-data:/data \
  tabbyml/tabby serve --model StarCoder2-3B --device cuda

# सर्वश्रेष्ठ गुणवत्ता के लिए सबसे बड़ा मॉडल
docker run -d --gpus all -p 8080:8080 \
  -v /workspace/tabby-data:/data \
  tabbyml/tabby serve --model StarCoder2-15B --device cuda

3. IDE एक्सटेंशन इंस्टॉल करें

VS Code:

1. एक्सटेंशन्स खोलें (Ctrl+Shift+X)

2. "Tabby" खोजें और आधिकारिक एक्सटेंशन इंस्टॉल करें

3. सेटिंग्स खोलें → "Tabby" खोजें

4. सर्वर एंडपॉइंट सेट करें: http://<your-clore-ip>:8080

JetBrains (IntelliJ, PyCharm, WebStorm):

1. Settings → Plugins → Marketplace

2. "Tabby" खोजें और इंस्टॉल करें

3. Settings → Tools → Tabby → Server endpoint: http://<your-clore-ip>:8080

Vim/Neovim:

" vim-plug का उपयोग करते हुए
Plug 'TabbyML/vim-tabby'

" init.vim / .vimrc में कॉन्फ़िगरेशन
let g:tabby_server_url = 'http://<your-clore-ip>:8080'

4. एडमिन डैशबोर्ड तक पहुँचें

खोलें http://<your-clore-ip>:8080 ब्राउज़र में। डैशबोर्ड प्रदान करता है:

• पूर्णता उपयोग सांख्यिकी

• मॉडल स्थिति और प्रदर्शन मीट्रिक्स

• उपयोगकर्ता और API टोकन प्रबंधन

• रिपॉजिटरी इंडेक्सिंग कॉन्फ़िगरेशन

उपयोग के उदाहरण

रिपॉजिटरी संदर्भ (RAG) जोड़ें

प्रोजेक्ट-सचेत पूर्णताओं के लिए अपनी रिपॉजिटरी को इंडेक्स करें:

# एडमिन API के माध्यम से
curl -X POST http://localhost:8080/v1beta/repositories \
  -H "Content-Type: application/json" \
  -d '{
    "name": "my-project",
    "git_url": "file:///workspace/my-project"
  }'

# Tabby रिपो को इंडेक्स करता है और संदर्भ-सचेत पूर्णताओं के लिए इसका उपयोग करता है

चैट API का उपयोग करें

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [
      {"role": "user", "content": "त्रुटि हैंडलिंग के साथ CSV फ़ाइलों को पार्स करने के लिए एक Python फ़ंक्शन लिखें"}
    ]
  }'

प्रमाणीकरण के साथ चलाएँ

# एडमिन डैशबोर्ड के माध्यम से एक ऑथ टोकन जनरेट करें, फिर:
docker run -d --gpus all -p 8080:8080 \
  -v /workspace/tabby-data:/data \
  tabbyml/tabby serve \
  --model StarCoder2-7B \
  --device cuda

# अपने IDE एक्सटेंशन सेटिंग्स में टोकन सेट करें
# या Authorization हेडर का उपयोग करें:
curl -H "Authorization: Bearer <token>" http://localhost:8080/v1/health

Docker के बिना चलाएँ (प्रत्यक्ष इंस्टॉल)

# Homebrew के माध्यम से इंस्टॉल करें (Linux)
curl -fsSL https://raw.githubusercontent.com/TabbyML/tabby/main/install.sh | bash

# या cargo install
cargo install tabby

# सीधे चलाएँ
tabby serve --model StarCoder2-7B --device cuda --port 8080

लागत तुलना

समाधान	मासिक लागत	गोपनीयता	लेटेंसी
GitHub Copilot	$19/उपयोगकर्ता	❌ क्लाउड	~200 ms
RTX 3060 पर TabbyML	~$5–9/माह	✅ स्वयं	~50 ms
RTX 3080 पर TabbyML	~$9–30/माह	✅ स्वयं	~30 ms
RTX 4090 पर TabbyML	~$15–60/माह	✅ स्वयं	~15 ms

एक छोटी टीम (3–5 डेवलपर्स) के लिए, Clore.ai पर एक अकेला RTX 3080 कई Copilot सब्सक्रिप्शनों की जगह ले सकता है और लागत का केवल एक अंश खर्च होता है।

टिप्स

• StarCoder2-7B सबसे उपयुक्त है — अधिकांश टीमों के लिए VRAM के मुकाबले सर्वोत्तम गुणवत्ता

• रिपॉजिटरी संदर्भ सक्षम करें — बड़े कोडबेस के लिए RAG इंडेक्सिंग पूर्णता की प्रासंगिकता को नाटकीय रूप से सुधारता है

• पोर्ट 8080 को सुरक्षित रूप से एक्सपोज़ करें — प्रोडक्शन परिनियोजन के लिए SSH टनेलिंग या TLS के साथ रिवर्स प्रॉक्सी का उपयोग करें

• VRAM उपयोग की निगरानी करें — nvidia-smi ताकि यह सुनिश्चित हो कि मॉडल इन्फ़रेंस बैचिंग के लिए हेडरूम के साथ फिट हो

• पूर्णता API का उपयोग करें CI/CD एकीकरण के लिए — कोड समीक्षा सुझावों को स्वचालित करें

• Tabby कई उपयोगकर्ताओं का समर्थन करता है — एडमिन डैशबोर्ड आपको प्रत्येक डेवलपर के लिए API टोकन बनाने देता है

• लेटेंसी मायने रखती है — सबसे तेज़ पूर्णताओं के लिए अपनी टीम के भौगोलिक रूप से नजदीक Clore.ai सर्वर चुनें

समस्याओं का निवारण

समस्या	समाधान
Docker कंटेनर तुरंत बाहर निकलता है	लॉग जांचें: docker logs tabby। संभावना है कि मॉडल के लिए VRAM अपर्याप्त है
IDE एक्सटेंशन कनेक्ट नहीं हो रहा	एंडपॉइंट URL सत्यापित करें, Clore.ai पर फ़ायरवॉल/पोर्ट फ़ॉरवर्डिंग जांचें
पूर्णताएँ धीमी हैं	छोटा मॉडल उपयोग करें, या सुनिश्चित करें कि GPU अन्य कार्यों के साथ साझा न हो
CUDA में आउट ऑफ मेमोरी	छोटे मॉडल (StarCoder2-3B या 1B) पर स्विच करें
रिपॉजिटरी इंडेक्सिंग अटकी हुई है	डिस्क स्थान जांचें और सुनिश्चित करें कि git रिपो पहुँच योग्य है
ऑथ टोकन अस्वीकार कर दिया गया	एडमिन डैशबोर्ड में टोकन पुनःजनरेट करें, IDE एक्सटेंशन अपडेट करें
रिमोट IDE से उच्च विलंबता	SSH टनल का उपयोग करें: ssh -L 8080:localhost:8080 root@<clore-ip>

संसाधन

• TabbyML GitHub

• TabbyML प्रलेखन

• VS Code एक्सटेंशन

• CLORE.AI मार्केटप्लेस