Erori comune API de inferență: Ghid de depanare

De ce modelul tău fără cenzură s-ar putea să refuze totuși

Modelul nu refuză subiecte legale pentru adulți, fictive, de cercetare în securitate sau controversate. Cu toate acestea, se aplică întotdeauna o limită strictă de conținut privind conținutul sexual care implică minori. Solicitățile care conțin această încălcare specifică sunt refuzate imediat. Acest filtru este distinct de gardienii standard de siguranță găsiți în alte modele.

Verificați intrarea pentru indicatori subtile ai personajelor minore în contexte sexuale. Chiar dacă modelul este fără cenzură, această frontieră specifică rămâne aplicată. Toate celelalte tipuri de conținut trec fără refuz. Acest lucru asigură conformitatea legală în timp ce menține libertatea pentru alte cazuri de utilizare.

Gestionarea limitelor de tokeni și a ferestrelor de context

Fereastra de context permite 100.000 de tokeni pentru prompt și completare combinați. Trebuie să urmărești tokenii de intrare pentru a te asigura că nu depășesc această limită atunci când sunt combinați cu ieșirea. Ieșirea maximă pe solicitare este de 16.000 de tokeni. Dacă nu setezi max_tokens, valoarea implicită este de 2.048 de tokeni.

Calculează-ți bugetul cu atenție. Documentele lungi consumă context semnificativ. Dacă depășești limita, API-ul returnează o eroare. Împarte intrările mari în bucăți mai mici pentru a menține performanța. Acest lucru previne trunchierea informațiilor critice din promptul tău.

Depanarea răspunsurilor în flux

Streamingul prin SSE livrează tokenii în timp real. Trebuie să analizezi fragmentul final pentru a recupera statisticele precise de utilizare a tokenilor. Datele de utilizare a tokenilor apar doar în ultimul fragment al fluxului. Fragmentele anterioare conțin doar delta de conținut.

Implementați un contor pentru a urmări totalul tokenilor procesați. Sumați tokenii de intrare și de ieșire din răspunsul final. Acest lucru asigură o facturare și o urmărire a utilizării precise. Nu vă bazați pe numărătorile parțiale din bucățile intermediare. Ele nu reflectă costul total al solicitării.

Erori și Validare Mod JSON

mod JSON impune validarea strictă a schemei. Trebuie să setezi parametrul response_format la json_object. Modelul încearcă să genereze JSON valid. Apar erori dacă schema este defectuoasă sau ieșirea nu poate fi analizată.

Validați schema JSON înainte de a trimite solicitări. Asigurați-vă că toate câmpurile necesare sunt definite. Utilizați un linter pentru a verifica sintaxa schemei. Acest lucru reduce erorile de validare și asigură o ieșire consistentă. Testați mai întâi cu intrări mici pentru a verifica formatul.

Înțelegerea alegerii instrumentelor și a apelării funcțiilor

Function calling permite modelului să invoce instrumente. Puteți specifica tool_choice pentru a controla comportamentul. Modelul returnează date structurate pentru execuția instrumentelor. Acest lucru permite fluxuri de lucru complexe și integrarea datelor externe.

Definește-ți instrumentele clar în cerere. Furnizează descrieri pentru fiecare instrument. Modelul folosește aceste descrieri pentru a decide când să le apeleze. Testează definițiile instrumentelor cu diverse intrări. Asigură-te că ieșirea corespunde formatului așteptat.

Limite de rată și cereri concurente

Fiecare cheie este limitată la 300 de solicitări pe minut. Poți avea până la 8 solicitări concurente simultan. Dimensiunea corpului solicitării este limitată la 8 MB. Depășirea acestor limite rezultă într-o eroare 429.

Implementați backoff exponențial pentru reîncercări. Monitorizați utilizarea pentru a rămâne în limite. Utilizați mai multe chei dacă aveți nevoie de un randament mai mare. Acest lucru asigură o funcționare fluidă în perioadele de utilizare intensă. Urmăriți volumul de cereri pentru a evita întreruperile neașteptate.

Surprize la prețuri: Tokeni de intrare vs. Tokeni de ieșire

Tarifele sunt de $0.15 per 1M tokeni de intrare și $0.50 per 1M tokeni de ieșire. Tokenii de ieșire sunt mai scumpi. Răspunsurile lungi cresc semnificativ costurile. Monitorizează lungimea ieșirii pentru a controla cheltuielile.

Setează max_tokens pentru a limita lungimea outputului. Acest lucru previne charge-urile neașteptate din răspunsuri lungi. Monitorizează regulat utilizarea tokenilor. Folosește datele de utilizare din ultimul chunk pentru a calcula costurile cu precizie.

Plăți cripto și expirarea creditelor

Creditul se reîncarcă doar cu criptomonede. Acceptăm USDT pe TRC20 sau USDC pe Base. Reîncărcarea minimă este de $20, iar cea maximă este de $500. Creditul nu expiră. Greșelile, precum dubla taxare, se remediază prin pagina de Suport.

Credit bonus se aplică pentru reîncărcări mai mari. Primești un bonus de +5% de la $50, +10% de la $100 și +15% de la $200. Greșelile și refuzurile sunt gratuite. Acest lucru asigură că plătești doar pentru utilizarea reală.