इनफरेंस API सामान्य गलतियां: ट्राबलशूटिंग गाइड

आपका अनसेंसर्ड मॉडल अभी भी रिफ्यूज क्यों कर सकता है

मॉडल कानूनी वयस्क, काल्पनिक, सुरक्षा-शोध या विवादास्पद विषयों को अस्वीकार नहीं करता है। हालांकि, किशोरों से संबंधित यौन सामग्री के संबंध में एक कड़ा सामग्री नियम हमेशा लागू होता है। इस विशिष्ट उल्लंघन वाले अनुरोध तुरंत अस्वीकृत कर दिए जाते हैं। यह फ़िल्टर अन्य मॉडल में पाए जाने वाले मानक सुरक्षा गार्डरेल्स से अलग है।

अपने इनपुट में यौन संदर्भों में नबे चरित्रों के सूक्ष्म संकेतों की जांच करें। यदि मॉडल अनसेंसर्ड है, तो यह विशिष्ट सीमा लागू रहती है। अन्य सभी सामग्री प्रकार बिना अस्वीकृति के गुजरते हैं। यह कानूनी अनुपालन सुनिश्चित करता है जबकि अन्य उपयोग मामलों के लिए स्वतंत्रता बनाए रखता है।

टोकन लिमिट्स और कॉन्टेक्स्ट विंडोज़ हैंडल करना

context window prompt और completion combined के लिए 100,000 tokens की अनुमति देता है। आपको input tokens को track करना चाहिए यह सुनिश्चित करने के लिए कि वे output के combined इस limit से अधिक न हों। request per maximum output 16,000 tokens है। यदि आप max_tokens set नहीं करते हैं, तो default 2,048 tokens है।

अपने बजट की सावधानी से गणना करें। लंबे दस्तावेज महत्वपूर्ण कॉन्टेक्स्ट खत्म करते हैं। यदि आप सीमा से अधिक हो जाते हैं, तो API एक त्रुटि लौटाता है। प्रदर्शन बनाए रखने के लिए बड़े इनपुट को छोटे हिस्सों में विभाजित करें। यह आपके प्रॉम्प्ट में महत्वपूर्ण जानकारी के ट्रंकेशन को रोकता है।

स्ट्रीमिंग प्रतिक्रियाओं को डिबग करना

SSE के माध्यम से स्ट्रीमिंग टोकन को वास्तविक समय में डिलीवर करती है। आपको सटीक टोकन उपयोग आंकड़े प्राप्त करने के लिए अंतिम चंक को पार्स करना होगा। टोकन उपयोग डेटा स्ट्रीम के अंतिम चंक में ही दिखाई देता है। पूर्ववर्ती चंक में केवल सामग्री डेल्टा होता है।

प्रसंस्कृत किए गए कुल टोकन को ट्रैक करने के लिए एक काउंटर लागू करें। अंतिम प्रतिक्रिया से इनपुट और आउटपुट टोकन को जोड़ें। यह सटीक बिलिंग और उपयोग ट्रैकिंग सुनिश्चित करता है। मध्यवर्ती चंक्स से आंशिक गणित पर भरोसा न करें। वे अनुरोध की कुल लागत को प्रतिबिंबित नहीं करते हैं।

JSON मोड त्रुटियाँ और सत्यापन

JSON मोड कठोर स्कीमा सत्यापन लागू करता है। आपको response_format पैरामीटर को json_object पर सेट करना चाहिए। मॉडल वैध JSON आउटपुट करने का प्रयास करता है। यदि स्कीमा खराब है या आउटपुट को पार्स नहीं किया जा सकता है तो त्रुटियाँ होती हैं।

अनुरोध भेजने से पहले अपने JSON स्कीमा की जांच करें। सुनिश्चित करें कि सभी आवश्यक फ़ील्ड परिभाषित हैं। अपने स्कीमा सिंटैक्स की जांच करने के लिए एक लिंटर का उपयोग करें। इससे सत्यापन त्रुटियां कम होती हैं और निरंतर आउटपुट सुनिश्चित होता है। फॉर्मेट की पुष्टि करने के लिए पहले छोटे इनपुट के साथ परीक्षण करें।

टूल चॉइस और फंक्शन कॉलिंग को समझना

फंक्शन कॉलिंग मॉडल को टूल्स कॉल करने की अनुमति देती है। आप टूल_चॉइस निर्दिष्ट कर सकते हैं ताकि व्यवहार को नियंत्रित किया जा सके। मॉडल टूल निष्पादन के लिए संरचित डेटा लौटाता है। यह जटिल वर्कफ्लो और बाहरी डेटा एकीकरण को सक्षम बनाता है।

अपने टूल्स को स्पष्ट रूप से परिभाषित करें। प्रत्येक टूल के लिए विवरण प्रदान करें। मॉडल इन विवरणों का उपयोग यह निर्धारित करने के लिए करता है कि कब उन्हें कॉल करना है। विभिन्न इनपुट के साथ टूल परिभाषाओं का परीक्षण करें। सुनिश्चित करें कि आउटपुट आपकी अपेक्षित फॉर्मेट से मेल खाता है।

रेट लिमिट्स और संयुक्त अनुरोध

प्रत्येक कुंजी प्रति मिनट 300 अनुरोधों तक सीमित है। आप एक साथ 8 समवर्ती अनुरोध चला सकते हैं। अनुरोध बॉई का आकार 8 MB पर सीमित है। इन सीमाओं को पार करने पर 429 त्रुटि आती है।

रीट्राई के लिए एक्सपोनेंशियल बैकऑफ लागू करें। सीमाओं के भीतर रहने के लिए अपने उपयोग की निगरानी करें। उच्च थ्रूपुट की आवश्यकता होने पर कई कुंजियों का उपयोग करें। यह पीक उपयोग के दौरान सुचारू संचालन सुनिश्चित करता है। अप्रत्याशित विघटन से बचने के लिए अपने अनुरोध वॉल्यूम को ट्रैक करें।

मूल्य निर्धारण में हैरानी: इनपुट बनाम आउटपुट टोकन

मूल्य $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है। आउटपुट टोकन अधिक महंगे हैं। लंबे उत्तर लागत को काफी बढ़ा देते हैं। लागत को नियंत्रित करने के लिए अपने आउटपुट लंबाई की निगरानी करें।

आउटपुट की लंबाई को कैप करने के लिए max_tokens सेट करें। यह लंबे जवाबों से होने वाली अप्रत्याशित चार्ज से बचाता है। अपनी टोकन उपयोग नियमित रूप से ट्रैक करें। लागत की सटीक गणना करने के लिए अंतिम चंक से टोकन उपयोग डेटा का उपयोग करें।

क्रिप्टो भुगतान और क्रेडिट समाप्ति

क्रेडिट केवल क्रिप्टो के साथ टॉप-अप किया जाता है। हम TRC20 पर USDT या Base पर USDC स्वीकार करते हैं। न्यूनतम टॉप-अप $20 है और अधिकतम $500 है। क्रेडिट कभी समाप्त नहीं होता है। डबल चार्ज जैसे गलतियों को सपोर्ट पेज के माध्यम से ठीक किया जाता है।

बोनस क्रेडिट बड़े टॉप-अप पर लागू होता है। आपको $50 पर +5% बोनस, $100 पर +10% और $200 पर +15% मिलता है। त्रुटियां और अस्वीकृतियां मुफ्त हैं। यह सुनिश्चित करता है कि आप केवल वास्तविक उपयोग के लिए भुगतान करें।