Vanliga misstag med Inferens-API: felsökningsguide

Varför din modell utan censur fortfarande kan vägra

Modellen vägrar inte lagliga, vuxna, fiktiva, säkerhetsforsknings- eller kontroversiella ämnen. En hårt innehållsbegränsning gäller dock alltid gällande sexuellt innehåll som involverar minderåriga. Anrop som innehåller detta specifika brott vägras omedelbart. Detta filter är distinkt från standardiserade säkerhetsåtgärder som finns i andra modeller.

Kontrollera din inmatning för subtila indikationer på minderåriga karaktärer i sexuella sammanhang. Även om modellen är uncensored, kvarstår denna specifika gräns. All annan innehållstyp passerar utan avslag. Detta säkerställer laglig efterlevnad samtidigt som friheten bibehålls för andra användningsområden.

Hantering av tokenbegränsningar och kontextfönster

Kontextfönstret tillåter 100 000 tokens för både prompt och komplettering kombinerat. Du måste spåra inmatningstokens för att säkerställa att de inte överskrider denna gräns när de kombineras med utmatningen. Maximal utmatning per begäran är 16 000 tokens. Om du inte anger max_tokens är standardvärdet 2 048 tokens.

Beräkna din budget noggrant. Långa dokument kräver betydande kontext. Om du överskrider gränsen returnerar API:et ett fel. Dela upp stora inmatningar i mindre bitar för att upprätthålla prestanda. Detta förhindrar att viktig information klipps bort i din prompt.

Felsökning av strömningsresponder

Streaming via SSE levererar tokens i realtid. Du måste pars den sista delen för att hämta exakta statistik över tokenanvändning. Data om tokenanvändning visas endast i den sista delen av strömmen. Tidigare delar innehåller endast innehållsdelta.

Implementera en räknare för att spåra totala tokens som bearbetats. Summera in- och utmatningstokens från det slutliga svaret. Detta säkerställer korrekt fakturering och användningsspårning. Lita inte på delräkningar från mellanliggande bitar. De speglar inte den totala kostnaden för förfrågan.

JSON-läge-fel och validering

JSON-läge upprätthåller strikt schemavalidering. Du måste ställa in response_format-parametern till json_object. Modellen försöker returnera giltig JSON. Fel uppstår om schemat är felaktigt eller om utdatan inte kan parsas.

Validera ditt JSON-schema innan du skickar begäranden. Se till att alla obligatoriska fält är definierade. Använd en linter för att kontrollera din schemasyntax. Detta minskar valideringsfel och säkerställer konsekvent utdata. Testa med små indata först för att verifiera formatet.

Förstå verktygsval och funktionsanrop

Function calling gör att modellen kan anropa verktyg. Du kan specificera tool_choice för att styra beteendet. Modellen returnerar strukturerad data för verktygsutförande. Detta möjliggör komplexa arbetsflöden och integration av extern data.

Definiera dina verktyg tydligt i begäran. Ange beskrivningar för varje verktyg. Modellen använder dessa beskrivningar för att avgöra när den ska anropa dem. Testa verktygsdefinitionerna med olika indata. Se till att utmatningen matchar ditt förväntade format.

Begränsningar för begäranderänta och parallella begäranden

Varje nyckel är begränsad till 300 begäranden per minut. Du kan ha upp till 8 parallella begäranden samtidigt. Storleken på begäranskroppen är begränsad till 8 MB. Att överskrida dessa gränser resulterar i ett 429-fel.

Implementera exponentiell backoff för försök om. Övervaka din användning för att hålla dig inom gränserna. Använd flera nycklar om du behöver högre prestanda. Detta säkerställer smidig drift under hög belastning. Spåra ditt förfrågningsvolym för att undvika oväntade avbrott.

Prisöverraskningar: Inmatnings- vs. utmatningstokens

Priset är $0,15 per 1M inmatningstokens och $0,50 per 1M utmatningstokens. Utmatningstokens är dyrare. Långa svar ökar kostnaderna avsevärt. Övervaka din utmatningslängd för att kontrollera utgifterna.

Ställ in max_tokens för att begränsa utmatningslängden. Detta förhindrar oväntade kostnader från långa svar. Övervaka din tokenanvändning regelbundet. Använd tokenanvändningsdata från den sista chunken för att beräkna kostnader noggrant.

Kryptobetalningar och kreditens utgångstid

Kredit fylls på enbart med krypto. Vi accepterar USDT på TRC20 eller USDC på Base. Minsta påfyllning är $20 och maxbeloppet är $500. Krediten löper inte ut. Fel som dubbla debiteringar åtgärdas via supportsidan.

Bonuskredit tillämpas vid större påfyllnader. Du får en +5% bonus från $50, +10% från $100 och +15% från $200. Fel och avslag är gratis. Detta säkerställer att du bara betalar för faktisk användning.