GroundingDINO

Détectez n'importe quel objet à l'aide de descriptions textuelles avec GroundingDINO

Détectez n'importe quel objet à l'aide de descriptions textuelles avec GroundingDINO.

Tous les exemples peuvent être exécutés sur des serveurs GPU loués via la place de marché CLORE.AI.

Tous les exemples de ce guide peuvent être exécutés sur des serveurs GPU loués via la place de marché CLORE.AI la place de marché.

Louer sur CLORE.AI

1. Visitez la place de marché CLORE.AI

2. Filtrez par type de GPU, VRAM et prix

3. Choisissez À la demande (tarif fixe) ou Spot (prix d'enchère)

4. Configurez votre commande :

   • Sélectionnez l'image Docker

   • Définissez les ports (TCP pour SSH, HTTP pour les interfaces web)

   • Ajoutez des variables d'environnement si nécessaire

   • Entrez la commande de démarrage

5. Sélectionnez le paiement : CLORE, BTC, ou USDT/USDC

6. Créez la commande et attendez le déploiement

Accédez à votre serveur

• Trouvez les détails de connexion dans Mes commandes

• Interfaces web : utilisez l'URL du port HTTP

• SSH : ssh -p <port> root@<proxy-address>

Qu'est-ce que GroundingDINO ?

GroundingDINO d'IDEA-Research permet :

• Détection d'objets zero-shot avec des invites textuelles

• Détectez n'importe quel objet sans entraînement

• Localisation précise des boîtes englobantes

• Combinez-le avec SAM pour une segmentation automatique

Ressources

• GitHub : IDEA-Research/GroundingDINO

• Article : Article sur GroundingDINO

• HuggingFace : IDEA-Research/grounding-dino

• Démo : HuggingFace Space

Matériel recommandé

Composant	Minimum	Recommandé	Optimal
GPU	RTX 3060 12 Go	RTX 4080 16 Go	RTX 4090 24 Go
VRAM	6 Go	12 Go	16 Go
CPU	4 cœurs	8 cœurs	16 cœurs
RAM	16 Go	32 Go	64 Go
Stockage	SSD 20 Go	50 Go NVMe	100 Go NVMe
Internet	100 Mbps	500 Mbps	1 Gbps

Déploiement rapide sur CLORE.AI

Image Docker :

pytorch/pytorch:2.11.0-cuda12.8-cudnn9-devel

Ports :

22/tcp
7860/http

Commande :

cd /workspace && \
git clone https://github.com/IDEA-Research/GroundingDINO.git && \\
cd GroundingDINO && \\
pip install -e . && \\
python demo/gradio_demo.py

Accéder à votre service

Après le déploiement, trouvez votre http_pub URL dans Mes commandes:

1. Accédez à Mes commandes la page

2. Cliquez sur votre commande

3. Trouvez le http_pub URL (par ex., abc123.clorecloud.net)

Utilisez https://YOUR_HTTP_PUB_URL au lieu de localhost dans les exemples ci-dessous.

Installation

git clone https://github.com/IDEA-Research/GroundingDINO.git
cd GroundingDINO
pip install -e .

# Télécharger les poids
mkdir weights
cd weights
wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

Ce que vous pouvez créer

Étiquetage automatisé

• Annotez automatiquement les ensembles de données pour l'entraînement ML

• Générez des boîtes englobantes à partir de descriptions

• Accélérez les pipelines d'étiquetage des données

Recherche visuelle

• Trouvez des objets spécifiques dans des bases de données d'images

• Systèmes de modération de contenu

• Reconnaissance de produits en commerce de détail

Robotique et automatisation

• Localisation d'objets pour les bras robotisés

• Systèmes de gestion des stocks

• Inspection du contrôle qualité

Applications créatives

• Recadrez automatiquement les sujets des photos

• Générez des masques d'objets avec SAM

• Édition d'images tenant compte du contenu

Analytique

• Compter les objets dans les images

• Suivre les stocks à partir de photos

• Surveillance de la faune

Utilisation de base

from groundingdino.util.inference import load_model, load_image, predict, annotate
import cv2

# Charger le modèle
model = load_model(
    "groundingdino/config/GroundingDINO_SwinT_OGC.py",
    "weights/groundingdino_swint_ogc.pth"
)

# Charger l’image
image_source, image = load_image("input.jpg")

# Détecter des objets
TEXT_PROMPT = "cat . dog . person"
BOX_THRESHOLD = 0.35
TEXT_THRESHOLD = 0.25

boxes, logits, phrases = predict(
    model=model,
    image=image,
    caption=TEXT_PROMPT,
    box_threshold=BOX_THRESHOLD,
    text_threshold=TEXT_THRESHOLD
)

# Annoter l'image
annotated_frame = annotate(
    image_source=image_source,
    boxes=boxes,
    logits=logits,
    phrases=phrases
)

cv2.imwrite("output.jpg", annotated_frame)

GroundingDINO + SAM (Grounded-SAM)

Combinez la détection avec la segmentation :

import torch
import numpy as np
from groundingdino.util.inference import load_model, load_image, predict
from segment_anything import sam_model_registry, SamPredictor

# Charger GroundingDINO
dino_model = load_model(
    "groundingdino/config/GroundingDINO_SwinT_OGC.py",
    "weights/groundingdino_swint_ogc.pth"
)

# Charger SAM
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
sam.to(device="cuda")
sam_predictor = SamPredictor(sam)

# Charger l’image
image_source, image = load_image("input.jpg")

# Détecter avec GroundingDINO
boxes, logits, phrases = predict(
    model=dino_model,
    image=image,
    caption="person . car",
    box_threshold=0.35,
    text_threshold=0.25
)

# Segmenter avec SAM
sam_predictor.set_image(image_source)

# Convertir les boîtes au format SAM
H, W = image_source.shape[:2]
boxes_xyxy = boxes * torch.tensor([W, H, W, H])

masks = []
for box in boxes_xyxy:
    mask, _, _ = sam_predictor.predict(
        box=box.numpy(),
        multimask_output=False
    )
    masks.append(mask)

Traitement par lots

import os
from groundingdino.util.inference import load_model, load_image, predict, annotate
import cv2

model = load_model(
    "groundingdino/config/GroundingDINO_SwinT_OGC.py",
    "weights/groundingdino_swint_ogc.pth"
)

input_dir = "./images"
output_dir = "./detected"
os.makedirs(output_dir, exist_ok=True)

TEXT_PROMPT = "product . price tag . barcode"

for filename in os.listdir(input_dir):
    if not filename.endswith(('.jpg', '.png')):
        continue

    image_path = os.path.join(input_dir, filename)
    image_source, image = load_image(image_path)

    boxes, logits, phrases = predict(
        model=model,
        image=image,
        caption=TEXT_PROMPT,
        box_threshold=0.3,
        text_threshold=0.25
    )

    annotated = annotate(image_source, boxes, logits, phrases)
    cv2.imwrite(os.path.join(output_dir, filename), annotated)

    print(f"{filename}: Found {len(boxes)} objects")

Pipeline de détection personnalisé

from groundingdino.util.inference import load_model, load_image, predict
import json

model = load_model(
    "groundingdino/config/GroundingDINO_SwinT_OGC.py",
    "weights/groundingdino_swint_ogc.pth"
)

def detect_and_export(image_path, prompt, output_json):
    image_source, image = load_image(image_path)
    H, W = image_source.shape[:2]

    boxes, logits, phrases = predict(
        model=model,
        image=image,
        caption=prompt,
        box_threshold=0.35,
        text_threshold=0.25
    )

    # Convertir en coordonnées absolues
    detections = []
    for box, logit, phrase in zip(boxes, logits, phrases):
        x1, y1, x2, y2 = box * torch.tensor([W, H, W, H])
        detections.append({
            "label": phrase,
            "confidence": float(logit),
            "bbox": {
                "x1": int(x1),
                "y1": int(y1),
                "x2": int(x2),
                "y2": int(y2)
            }
        })

    with open(output_json, "w") as f:
        json.dump(detections, f, indent=2)

    return detections

# Détecter des voitures et des personnes
results = detect_and_export(
    "street.jpg",
    "car . person . bicycle . traffic light",
    "detections.json"
)

Interface Gradio

import gradio as gr
import cv2
from groundingdino.util.inference import load_model, load_image, predict, annotate
import tempfile
import numpy as np

model = load_model(
    "groundingdino/config/GroundingDINO_SwinT_OGC.py",
    "weights/groundingdino_swint_ogc.pth"
)

def detect_objects(image, text_prompt, box_threshold, text_threshold):
    # Enregistrer l'image temporaire
    with tempfile.NamedTemporaryFile(suffix=".jpg", delete=False) as f:
        cv2.imwrite(f.name, cv2.cvtColor(np.array(image), cv2.COLOR_RGB2BGR))
        image_source, img = load_image(f.name)

    boxes, logits, phrases = predict(
        model=model,
        image=img,
        caption=text_prompt,
        box_threshold=box_threshold,
        text_threshold=text_threshold
    )

    annotated = annotate(image_source, boxes, logits, phrases)
    annotated_rgb = cv2.cvtColor(annotated, cv2.COLOR_BGR2RGB)

    return annotated_rgb, f"Found {len(boxes)} objects: {', '.join(phrases)}"

demo = gr.Interface(
    fn=detect_objects,
    inputs=[
        gr.Image(type="pil", label="Image d’entrée"),
        gr.Textbox(label="Objets à détecter", value="person . car . dog", placeholder="objet1 . objet2 . objet3"),
        gr.Slider(0.1, 0.9, value=0.35, label="Seuil de boîte"),
        gr.Slider(0.1, 0.9, value=0.25, label="Seuil de texte")
    ],
    outputs=[
        gr.Image(label="Résultat de détection"),
        gr.Textbox(label="Résumé")
    ],
    title="GroundingDINO - Détection d'objets en ensemble ouvert",
    description="Détectez n'importe quel objet en le décrivant par texte. Fonctionne sur les serveurs GPU de CLORE.AI."
)

demo.launch(server_name="0.0.0.0", server_port=7860)

Performances

Tâche	Résolution	GPU	Vitesse
Image unique	800x600	RTX 3090	120 ms
Image unique	800x600	RTX 4090	80ms
Image unique	1920x1080	RTX 4090	150 ms
Lot (10 images)	800x600	RTX 4090	600 ms

Problèmes courants et solutions

Précision de détection faible

Problème : Objets non détectés

Solutions :

• Réduisez box_threshold à 0,2-0,3

• Réduisez text_threshold à 0,15-0,2

• Utilisez des descriptions d'objets plus spécifiques

• Séparez les objets avec « . » et non des virgules

# Bon format d'invite
TEXT_PROMPT = "red car . person wearing hat . wooden chair"

# Mauvais format d'invite
TEXT_PROMPT = "red car, person wearing hat, wooden chair"

Mémoire insuffisante

Problème : OOM CUDA sur les grandes images

Solutions :

# Redimensionnez les grandes images avant la détection
from PIL import Image

def resize_if_needed(image_path, max_size=1280):
    img = Image.open(image_path)
    if max(img.size) > max_size:
        ratio = max_size / max(img.size)
        new_size = (int(img.width * ratio), int(img.height * ratio))
        img = img.resize(new_size, Image.LANCZOS)
        img.save(image_path)

Inférence lente

Problème : La détection prend trop de temps

Solutions :

• Utilisez des images d'entrée plus petites

• Traitez plusieurs images par lot

• Utilisez l'inférence FP16

• Louez un GPU plus rapide (RTX 4090, A100)

Faux positifs

Problème : Détection d'objets incorrects

Solutions :

• Augmentez box_threshold à 0,4-0,5

• Soyez plus précis dans les invites

• Utilisez des invites négatives (filtrer les résultats après détection)

# Filtrer les détections à faible confiance
filtered = [(b, l, p) for b, l, p in zip(boxes, logits, phrases) if l > 0.5]

Dépannage

Objets non détectés

• Utilisez des descriptions textuelles plus spécifiques

• Essayez différentes formulations

• Abaissez le seuil de confiance

Boîtes englobantes incorrectes

• Soyez plus précis dans l'invite textuelle

• Utilisez « . » pour séparer plusieurs objets

• Vérifier la qualité des images

Mémoire insuffisante

• Réduisez la résolution de l'image

• Traitez les images une par une

• Utilisez une variante de modèle plus petite

Inférence lente

• Utilisez TensorRT pour accélérer

• Traitez par lot des images de taille similaire

• Activez l'inférence FP16

Estimation des coûts

Tarifs typiques du marché CLORE.AI (en 2024) :

GPU	Tarif horaire	Tarif journalier	Session de 4 heures
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40 Go	~$0.17	~$4.00	~$0.70
A100 80 Go	~$0.25	~$6.00	~$1.00

Les prix varient selon le fournisseur et la demande. Vérifiez la place de marché CLORE.AI les tarifs actuels.

Économisez de l'argent :

• Utilisez le Spot marché pour les travaux interrompables — environ un tiers des serveurs ont un prix spot inférieur au tarif à la demande (médiane ~13 % de remise), les autres s'alignent dessus

• Payez avec CLORE jetons

• Comparez les prix entre différents fournisseurs

Étapes suivantes

• SAM2 - Segmenter les objets détectés

• Florence-2 - Davantage de tâches de vision

• YOLO - Détection plus rapide pour les classes connues