OpenAI-कम्पैटिबल एंडपॉइंट क्विकस्टार्ट

बेस URL और प्रमाणीकरण

मानकीकृत बेस URL और अपनी अनूटी कुंजी का उपयोग करके हमारे API से कनेक्ट करें। हर अनुरोध में सुरक्षित एक्सेस सुनिश्चित करने के लिए Authorization हेडर के माध्यम से प्रमाणीकरण की आवश्यकता होती है।

हमारा एंडपॉइंट संरचना उद्योग मानक को दर्शाती है, जिससे आप अपने मौजूदा OpenAI कॉन्फ़िगरेशन को न्यूनतम घर्षण के साथ बदल सकते हैं। आपको जटिल रूटिंग या विक्रेता लॉक-इन प्रबंधित करने की आवश्यकता नहीं है; हम इंफ्रास्ट्रक्चर संभालते हैं जबकि आप एप्लिकेशन लॉजिक पर ध्यान केंद्रित करते हैं।

डैशबोर्ड के माध्यम से अपनी कुंजी तुरंत जनरेट करें। प्रत्येक खाते में एक सक्रिय कुंजी होती है जो पुनर्जनरेट करने पर पिछली कुंजी को प्रतिस्थापित कर देती है, जिससे आपकी सुरक्षा स्थिति सरल और पारदर्शी बनी रहती है।

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

चैट कंप्लीशंस एंडपॉइंट

अपना प्रॉम्प्ट अनसेंसर्ड मॉडल से प्रत्यक्ष टेक्स्ट प्रतिक्रिया प्राप्त करने के लिए चैट कंप्लीशन्स एंडपॉइंट पर भेजें। यह सिंगल एंडपॉइंट एम्बेडिंग्स या मल्टीमोडल प्रोसेसिंग के ओवरहेड के बिना सभी टेक्स्ट जनरेशन को संभालता है।

मॉडल एक मानक संदेश सरणी स्वीकार करता है जिसमें सिस्टम, उपयोगकर्ता और असिस्टेंट भूमिकाएं शामिल हैं। यह कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के जवाब देने के लिए ट्यून किया गया है, जो इसे रचनात्मक लेखन, रोलप्ले, या सीमित डेटा विश्लेषण के लिए आदर्श बनाता है।

अपने पेलोड्स को संक्षिप्त रखें। अधिकतम रिक्वेस्ट बॉडी साइज 8 MB है, जो संदर्भ सीमा तक पहुंचने से पहले अधिकांश मानक संवाद इतिहासों को आराम से फिट करती है।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

स्ट्रीमिंग और टोकन उपयोग

अपने अनुरोध में stream पैरामीटर को true सेट करके रियल-टाइम आउटपुट सक्षम करें। API एक Server-Sent Events (SSE) स्ट्रीम लौटाता है, जो आपको टोकन को जनरेट होते ही प्रदर्शित करने की अनुमति देता है।

टोकन उपयोग आंकड़े स्ट्रीम के अंतिम चंक में शामिल हैं। यह डिज़ाइन जनरेशन के दौरान पेलोड को हल्का रखता है जबकि यह सुनिश्चित करता है कि आपको अपने प्रीपेड क्रेडिट के लिए सटीक बिलिंग डेटा मिले।

स्ट्रीमिंग से अंत-उपयोगकर्ताओं के लिए प्रतीत होने वाली विलंबता कम हो जाती है। आप प्रतिक्रिया को तुरंत रेंडर करना शुरू कर सकते हैं, जो इंटरैक्टिव फीडबैक लूप या लंबी सामग्री जनरेशन वाले एप्लिकेशन के लिए महत्वपूर्ण है।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

फंक्शन कॉलिंग और JSON मोड

प्रोग्रामेटिक उपभोग के लिए अपने आउटपुट को JSON मोड या फ़ंक्शन कॉलिंग का उपयोग करके संरचित करें। response_format को json_object पर सेट करें ताकि मॉडल को कठोर JSON स्कीमा में मजबूर किया जा सके।

टूल उपयोग के लिए, अपने फ़ंक्शनों को tools सरणी में परिभाषित करें। मॉडल संरचित तर्क लौटाएगा जिन्हें आपका कोड पार्स और निष्पादित कर सकता है। यह क्षमता जटिल वर्कफ़्लो का समर्थन करती है बिना बाहरी पार्सिंग लाइब्रेरी की आवश्यकता के।

JSON मोड असंरचित टेक्स्ट से डेटा निकालते समय विशेष रूप से उपयोगी है। यह सुनिश्चित करता है कि फॉर्मेटिंग स्थिर रहे, जिससे आपके एप्लिकेशन लॉजिक में पोस्ट-प्रोसेसिंग क्लीनअप की आवश्यकता कम हो जाती है।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

पैरामीटर: तापमान, शीर्ष P, और स्टॉप

मानक जनरेशन पैरामीटर का उपयोग करके अपनी प्रतिक्रियाओं की रचनात्मकता और समाप्ति को नियंत्रित करें। विचरण के लिए तापमान और न्यूक्लियस सैंपलिंग के लिए top_p को समायोजित करें। आउटपुल के अंत को संकेतित करने वाले विशिष्ट सीक्वेंस को परिभाषित करने के लिए stop पैरामीटर का उपयोग करें।

कम तापमान सेट करने से अधिक निर्धारक और केंद्रित परिणाम मिलते हैं। उच्च मान अधिक यादृच्छिकता लाते हैं, जो ब्रेनस्टॉर्मिंग या रचनात्मक कहानी लेखन कार्यों के लिए लाभदायक हो सकते हैं।

मॉडल को अनिश्चित काल तक चलने से रोकने के लिए स्टॉप सीक्वेंस परिभाषित करें। यह भविष्यसूचक टोकन उपयोग बनाए रखने और सुनिश्चित करने के लिए आवश्यक है कि आपका अनुप्रयोग एक स्वच्छ, विभाजित प्रतिक्रिया प्राप्त करे।

त्रुटि हैंडलिंग और सीमाएँ

अपने अनुरोधों की निगरानी करें सामान्य HTTP स्टेटस कोड के लिए ताकि त्रुटियों का प्रभावी प्रबंधन किया जा सके। एक 401 अमान्य या समाप्त API कुंजी को संकेत देता है, जबकि एक 402 संकेत देता है कि आपका पूर्वभुगतान क्रेडिट समाप्त हो गया है।

यदि आप प्रति मिनट 300 रिक्वेस्ट से अधिक या प्रति कुंजी 8 से अधिक समवर्ती रिक्वेस्ट से अधिक होते हैं, तो 429 रेट लिमिट ट्रिगर होता है। अपनी थ्रूपुट बढ़ाने के लिए भार को कई कुंजियों में वितरित करें या रिक्वेस्ट फ्रीक्वेंसी कम करें।

आपका संदर्भ विंडो प्रॉम्प्ट और पूर्णता दोनों के लिए 100,000 टोकन का समर्थन करता है। ट्रंकेशन से बचने के लिए इस सीमा के प्रति सचेत रहें। त्रुटियां और अस्वीकृतियां टोकन नहीं खाती हैं, इसलिए आप केवल वास्तविक जनरेशन के लिए भुगतान करते हैं।