Errori comuni nell'API di inferenza: Guida alla risoluzione dei problemi

Perché il Tuo Modello Senza Censura Potrebbe Ancora Rifiutare

Il modello non rifiuta argomenti legali per adulti, di fantasia, di ricerca sulla sicurezza o controversi. Tuttavia, si applica sempre un limite rigido ai contenuti riguardanti i contenuti sessuali che coinvolgono minori. Le richieste contenenti questa specifica violazione vengono rifiutate immediatamente. Questo filtro è distinto dalle normali protezioni di sicurezza presenti in altri modelli.

Verifica il tuo input per indicatori sottili di personaggi minori in contesti sessuali. Anche se il modello è uncensored, questo confine specifico rimane applicato. Tutti gli altri tipi di contenuto passano senza rifiuti. Questo garantisce la conformità legale mantenendo la libertà per altri casi d'uso.

Gestione dei limiti dei token e delle finestre di contesto

La finestra di contesto consente 100,000 token sia per il prompt che per il completamento combinati. Devi monitorare i token di input per assicurarti che non superino questo limite quando combinati con l'output. Il massimo output per richiesta è di 16,000 token. Se non imposti max_tokens, il default è 2,048 token.

Calcola il tuo budget con attenzione. I documenti lunghi consumano un contesto significativo. Se superi il limite, l'API restituisce un errore. Dividi gli input di grandi dimensioni in chunk più piccoli per mantenere le prestazioni. Questo evita la troncamento di informazioni critiche nel tuo prompt.

Debug delle risposte in streaming

Lo streaming tramite SSE consegna i token in tempo reale. Devi analizzare l'ultimo chunk per recuperare le statistiche accurate sull'utilizzo dei token. I dati sull'utilizzo dei token appaiono solo nell'ultimo chunk dello stream. I chunk precedenti contengono solo il delta del contenuto.

Implementa un contatore per tracciare il totale dei token elaborati. Somma i token di input e output dall'ultima risposta. Questo garantisce una fatturazione e un tracciamento dell'utilizzo accurati. Non affidarti ai conteggi parziali degli chunk intermedi. Non riflettono il costo totale della richiesta.

Errori e validazione modalità JSON

La modalità JSON impone una rigorosa validazione dello schema. Devi impostare il parametro response_format su json_object. Il modello tenta di outputtare un JSON valido. Si verificano errori se lo schema è malformato o l'output non può essere analizzato.

Convalida il tuo schema JSON prima di inviare le richieste. Assicurati che tutti i campi obbligatori siano definiti. Usa un linter per verificare la sintassi del tuo schema. Questo riduce gli errori di convalida e garantisce un output coerente. Testa prima con input piccoli per verificare il formato.

Comprendere la scelta degli strumenti e la chiamata di funzioni

Il function calling consente al modello di invocare strumenti. Puoi specificare tool_choice per controllare il comportamento. Il modello restituisce dati strutturati per l'esecuzione degli strumenti. Ciò abilita flussi di lavoro complessi e l'integrazione di dati esterni.

Definisci chiaramente i tuoi strumenti nella richiesta. Fornisci descrizioni per ogni strumento. Il modello utilizza queste descrizioni per decidere quando chiamarli. Testa le definizioni degli strumenti con vari input. Assicurati che l'output corrisponda al formato previsto.

Limiti di frequenza e richieste concorrenti

Ogni chiave è limitata a 300 richieste al minuto. Puoi effettuare fino a 8 richieste concorrenti contemporaneamente. La dimensione del corpo della richiesta è limitata a 8 MB. Il superamento di questi limiti comporta un errore 429.

Implementa un exponential backoff per i retry. Monitora il tuo utilizzo per rimanere entro i limiti. Utilizza più chiavi se hai bisogno di un throughput maggiore. Questo garantisce un funzionamento fluido durante i picchi di utilizzo. Tieni traccia del volume delle richieste per evitare interruzioni impreviste.

Sorprese sui Prezzi: Token di Input vs. Token di Output

Il prezzo è $0,15 per 1M token di input e $0,50 per 1M token di output. I token di output sono più costosi. Le risposte lunghe aumentano significativamente i costi. Monitora la lunghezza dell'output per controllare le spese.

Imposta max_tokens per limitare la lunghezza dell'output. Questo previene addebiti imprevisti dovuti a risposte lunghe. Monitora regolarmente l'utilizzo dei token. Utilizza i dati di utilizzo dei token presenti nell'ultimo chunk per calcolare i costi con precisione.

Pagamenti con criptovalute e scadenza dei crediti

Il credito viene ricaricato solo con criptovalute. Accettiamo USDT su TRC20 o USDC su Base. Il ricarico minimo è di $20 e il massimo è di $500. Il credito non scade. Errori come addebiti doppi vengono risolti tramite la pagina Supporto.

Il bonus credit si applica alle ricariche più grandi. Ricevi un bonus del +5% da $50, +10% da $100 e +15% da $200. Errori e rifiuti sono gratuiti. Questo garantisce che paghi solo per l'utilizzo effettivo.