Depth Anything

Clore.ai पर Depth Anything के साथ monocular depth estimation

Depth Anything के साथ एकल छवियों से गहराई का अनुमान लगाएँ।

सभी उदाहरण GPU सर्वरों पर चलाए जा सकते हैं जिन्हें द्वारा किराए पर लिया गया है CLORE.AI मार्केटप्लेस.

CLORE.AI पर किराये पर लेना

1. पर जाएँ CLORE.AI मार्केटप्लेस

2. GPU प्रकार, VRAM, और मूल्य के अनुसार फ़िल्टर करें

3. चुनें ऑन-डिमांड (निश्चित दर) या स्पॉट (बिड प्राइस)

4. अपना ऑर्डर कॉन्फ़िगर करें:

   • Docker इमेज चुनें

   • पोर्ट सेट करें (SSH के लिए TCP, वेब UI के लिए HTTP)

   • यदि आवश्यक हो तो एनवायरनमेंट वेरिएबल जोड़ें

   • स्टार्टअप कमांड दर्ज करें

5. भुगतान चुनें: CLORE, BTC, या USDT/USDC

6. ऑर्डर बनाएं और डिप्लॉयमेंट का इंतज़ार करें

अपने सर्वर तक पहुँचें

• कनेक्शन विवरण में खोजें मेरे ऑर्डर

• वेब इंटरफेस: HTTP पोर्ट URL का उपयोग करें

• SSH: ssh -p <port> root@<proxy-address>

Depth Anything क्या है?

Depth Anything प्रदान करता है:

• अत्याधुनिक गहराई अनुमान

• किसी भी छवि पर काम करता है

• स्टिरियो कैमरा की आवश्यकता नहीं

• तेज़ इनफेरेंस

मॉडल वेरिएंट

मॉडल	आकार	VRAM	स्पीड
Depth-Anything-Small	25M	2GB	सबसे तेज
Depth-Anything-Base	98M	4GB	तेज़
Depth-Anything-Large	335M	8GB	सर्वोत्तम गुणवत्ता
Depth-Anything-V2	विविध	4-8GB	नवीनतम

त्वरित तैनाती

Docker इमेज:

pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

पोर्ट:

22/tcp
7860/http

कमांड:

pip install transformers torch gradio && \
python depth_anything_app.py

अपनी सेवा तक पहुँचना

डिप्लॉयमेंट के बाद, अपना खोजें http_pub URL में मेरे ऑर्डर:

1. जाएँ मेरे ऑर्डर पृष्ठ

2. अपने ऑर्डर पर क्लिक करें

3. खोजें http_pub URL (उदा., abc123.clorecloud.net)

उपयोग करें https://YOUR_HTTP_PUB_URL की बजाय localhost नीचे दिए उदाहरणों में।

इंस्टॉलेशन

pip install transformers torch
pip install opencv-python pillow

मूल उपयोग

from transformers import pipeline
from PIL import Image

# गहराई अनुमान पाइपलाइन लोड करें
pipe = pipeline(
    task="depth-estimation",
    model="LiheYoung/depth-anything-large-hf",
    device="cuda"
)

# गहराई का अनुमान लगाएँ
image = Image.open("photo.jpg")
depth = pipe(image)

# गहराई मानचित्र सहेजें
depth["depth"].save("depth_map.png")

Depth Anything V2

from transformers import AutoImageProcessor, AutoModelForDepthEstimation
import torch
from PIL import Image
import numpy as np

# मॉडल लोड करें
processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Large-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Large-hf")
model.to("cuda")

# छवि को प्रोसेस करें
image = Image.open("photo.jpg")
inputs = processor(images=image, return_tensors="pt").to("cuda")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# मूल आकार पर इंटरपोलेट करें
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# numpy में बदलें
depth = prediction.squeeze().cpu().numpy()
depth = (depth - depth.min()) / (depth.max() - depth.min()) * 255
depth = depth.astype(np.uint8)

# सहेजें
Image.fromarray(depth).save("depth.png")

रंगीन गहराई मानचित्र

import cv2
import numpy as np
from PIL import Image

def colorize_depth(depth_array, colormap=cv2.COLORMAP_INFERNO):
    # 0-255 में सामान्यीकृत करें
    depth_normalized = cv2.normalize(depth_array, None, 0, 255, cv2.NORM_MINMAX)
    depth_uint8 = depth_normalized.astype(np.uint8)

    # कोलोरमैप लागू करें
    colored = cv2.applyColorMap(depth_uint8, colormap)

    return Image.fromarray(cv2.cvtColor(colored, cv2.COLOR_BGR2RGB))

# उपयोग
depth_colored = colorize_depth(depth)
depth_colored.save("depth_colored.png")

बैच प्रोसेसिंग

from transformers import pipeline
from PIL import Image
import os

pipe = pipeline(
    task="depth-estimation",
    model="LiheYoung/depth-anything-large-hf",
    device="cuda"
)

input_dir = "./images"
output_dir = "./depth_maps"
os.makedirs(output_dir, exist_ok=True)

for filename in os.listdir(input_dir):
    for filename in os.listdir(image_folder):
        image_path = os.path.join(input_dir, filename)
        image = Image.open(image_path)

        # गहराई प्राप्त करें
        depth = pipe(image)

        # सहेजें
        output_path = os.path.join(output_dir, f"depth_{filename}")
        depth["depth"].save(output_path)
        print(f"Processed: {filename}")

Gradio इंटरफ़ेस

import gradio as gr
from transformers import pipeline
import cv2
import numpy as np

pipe = pipeline(
    task="depth-estimation",
    model="LiheYoung/depth-anything-large-hf",
    device="cuda"
)

def estimate_depth(image, colormap):
    # गहराई प्राप्त करें
    result = pipe(image)
    depth = np.array(result["depth"])

    # रंगीन करें
    depth_normalized = cv2.normalize(depth, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)

    colormaps = {
        "Inferno": cv2.COLORMAP_INFERNO,
        "Viridis": cv2.COLORMAP_VIRIDIS,
        "Plasma": cv2.COLORMAP_PLASMA,
        "Magma": cv2.COLORMAP_MAGMA,
        "Jet": cv2.COLORMAP_JET
    }

    colored = cv2.applyColorMap(depth_normalized, colormaps[colormap])
    colored = cv2.cvtColor(colored, cv2.COLOR_BGR2RGB)

    return result["depth"], colored

demo = gr.Interface(
    fn=estimate_depth,
    inputs=[
        gr.Image(type="pil", label="इनपुट इमेज"),
        gr.Dropdown(
            ["Inferno", "Viridis", "Plasma", "Magma", "Jet"],
            value="Inferno",
            label="Colormap"
        )
    ],
    outputs=[
        gr.Image(label="Depth Map (Grayscale)"),
        gr.Image(label="Depth Map (Colored)")
    ],
    title="Depth Anything - Depth Estimation"
)

demo.launch(server_name="0.0.0.0", server_port=7860)

API सर्वर

from fastapi import FastAPI, UploadFile, File
from fastapi.responses import Response
from transformers import pipeline
from PIL import Image
import io
import numpy as np
import cv2

app = FastAPI()

pipe = pipeline(
    task="depth-estimation",
    model="LiheYoung/depth-anything-large-hf",
    device="cuda"
)

@app.post("/depth")
async def estimate_depth(image: UploadFile = File(...), colored: bool = True):
    # छवि लोड करें
    question: str = Form(default="चित्र का वर्णन करें")

    # गहराई का अनुमान लगाएँ
    result = pipe(img)
    depth = np.array(result["depth"])

    if colored:
        depth_normalized = cv2.normalize(depth, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
        depth_img = cv2.applyColorMap(depth_normalized, cv2.COLORMAP_INFERNO)
        depth_img = cv2.cvtColor(depth_img, cv2.COLOR_BGR2RGB)
    else:
        depth_img = depth

    # बाइट्स में बदलें
    output = Image.fromarray(depth_img)
    buffer = io.BytesIO()
    output.save(buffer, format="PNG")

    return Response(content=buffer.getvalue(), media_type="image/png")

# चलाएँ: uvicorn server:app --host 0.0.0.0 --port 8000

3D पॉइंट क्लाउड निर्माण

import numpy as np
import open3d as o3d
from PIL import Image

def depth_to_pointcloud(rgb_image, depth_map, focal_length=500):
    """RGB छवि और गहराई मानचित्र को 3D पॉइंट क्लाउड में बदलें"""
    rgb = np.array(rgb_image)
    depth = np.array(depth_map)

    # छवि आयाम प्राप्त करें
    height, width = depth.shape

    # मेश ग्रिड बनाएं
    u = np.arange(width)
    v = np.arange(height)
    u, v = np.meshgrid(u, v)

    # 3D निर्देशांकों में परिवर्तित करें
    z = depth.astype(float)
    x = (u - width / 2) * z / focal_length
    y = (v - height / 2) * z / focal_length

    # निर्देशांक स्टैक करें
    points = np.stack([x, y, z], axis=-1).reshape(-1, 3)
    colors = rgb.reshape(-1, 3) / 255.0

    # पॉइंट क्लाउड बनाएं
    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(points)
    pcd.colors = o3d.utility.Vector3dVector(colors)

    return pcd

# उपयोग
rgb = Image.open("photo.jpg")
depth = pipe(rgb)["depth"]

pcd = depth_to_pointcloud(rgb, depth)
o3d.io.write_point_cloud("output.ply", pcd)

उपयोग के मामले

3D फोटो प्रभाव

def create_3d_photo(image, depth, shift=20):
    """3D फ़ोटो के लिए पैरलैक्स प्रभाव बनाएं"""
    import cv2
    import numpy as np

    img = np.array(image)
    depth_arr = np.array(depth)

    # गहराई सामान्यीकृत करें
    depth_norm = (depth_arr - depth_arr.min()) / (depth_arr.max() - depth_arr.min())

    # शिफ्ट की हुई प्रति बनाएं
    shifted = np.zeros_like(img)
    for y in range(img.shape[0]):
        for x in range(img.shape[1]):
            offset = int(shift * depth_norm[y, x])
            new_x = min(x + offset, img.shape[1] - 1)
            shifted[y, new_x] = img[y, x]

    return Image.fromarray(shifted)

बैकग्राउंड ब्लर (पोर्ट्रेट मोड)

def portrait_mode(image, depth, blur_strength=25):
    import cv2
    import numpy as np

    img = np.array(image)
    depth_arr = np.array(depth)

    # गहराई सामान्यीकृत करें
    depth_norm = (depth_arr - depth_arr.min()) / (depth_arr.max() - depth_arr.min())

    # ब्लर मास्क बनाएं (बैकग्राउंड = अधिक गहराई = अधिक ब्लर)
    blur_mask = depth_norm

    # ब्लर लागू करें
    blurred = cv2.GaussianBlur(img, (blur_strength, blur_strength), 0)

    # गहराई के आधार पर ब्लेंड करें
    mask_3d = np.stack([blur_mask] * 3, axis=-1)
    result = (img * (1 - mask_3d) + blurred * mask_3d).astype(np.uint8)

    return Image.fromarray(result)

प्रदर्शन

मॉडल	GPU	प्रति छवि समय
छोटी	RTX 3060	~50ms
बेस	RTX 3060	~100ms
लार्ज	RTX 3090	~150ms
लार्ज	RTX 4090	~80ms
V2-Large	RTX 4090	~100ms

समस्याओं का निवारण

खराब गहराई गुणवत्ता

• बड़ी मॉडल वैरिएंट का उपयोग करें

• सुनिश्चित करें कि चित्र की गुणवत्ता अच्छी हो

• परावर्तक सतहों के लिए जाँच करें

मेमोरी समस्याएँ

• छोटा मॉडल वैरिएंट उपयोग करें

• छवि रिज़ॉल्यूशन घटाएँ

• fp16 इनफेरेंस सक्षम करें

धीमा प्रोसेसिंग

• छोटा मॉडल उपयोग करें

• यदि संभव हो तो बैच में प्रोसेस करें

• GPU इनफेरेंस का उपयोग करें

लागत अनुमान

सामान्य CLORE.AI मार्केटप्लेस दरें (2024 के अनुसार):

GPU	घंटात्मक दर	दैनिक दर	4-घंटे सत्र
RTX 3060	~$0.03	~$0.70	~$0.12
RTX 3090	~$0.06	~$1.50	~$0.25
RTX 4090	~$0.10	~$2.30	~$0.40
A100 40GB	~$0.17	~$4.00	~$0.70
A100 80GB	~$0.25	~$6.00	~$1.00

कीमतें प्रदाता और मांग के अनुसार बदलती हैं। जाँच करें CLORE.AI मार्केटप्लेस वर्तमान दरों के लिए।

पैसे बचाएँ:

• उपयोग करें स्पॉट लचीले वर्कलोड के लिए मार्केट (अक्सर 30-50% सस्ता)

• भुगतान करें CLORE टोकन के साथ

• विभिन्न प्रदाताओं के बीच कीमतों की तुलना करें

अगले कदम

• ControlNet - नियंत्रण के लिए गहराई का उपयोग करें

• कुछ भी सेगमेंट करें - वस्तु विभाजन

• 3D जेनेरेशन - वीडियो गहराई