Avvio rapido endpoint compatibile con OpenAI

URL Base e Autenticazione

Connettiti alla nostra API utilizzando l'URL di base standardizzato e la tua chiave univoca. Ogni richiesta richiede autenticazione tramite l'intestazione Authorization per garantire un accesso sicuro al tuo credito prepagato.

La struttura dell'endpoint rispecchia lo standard del settore, consentendoti di sostituire la tua configurazione OpenAI esistente con minima frizione. Non devi gestire routing complessi o lock-in del fornitore; noi gestiamo l'infrastruttura mentre tu ti concentri sulla logica dell'applicazione.

Genera la tua chiave istantaneamente tramite la dashboard. Ogni account mantiene una chiave attiva che sostituisce la precedente alla rigenerazione, mantenendo la tua postura di sicurezza semplice e trasparente.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Endpoint Chat Completions

Invia il tuo prompt all'endpoint di completamento chat per ricevere una risposta di testo diretta dal modello senza filtri. Questo singolo endpoint gestisce tutta la generazione di testo senza il sovraccarico di embedding o elaborazione multimodale.

Il modello accetta un array di messaggi standard contenente ruoli system, user e assistant. È ottimizzato per rispondere senza rifiuti di contenuti per l'uso adulto lecito, rendendolo ideale per la scrittura creativa, il roleplay o l'analisi dati non restrittiva.

Mantieni i payload concisi. La dimensione massima del corpo della richiesta è di 8 MB, che si adatta comodamente alla maggior parte delle cronologie di conversazione standard prima di raggiungere il limite di contesto.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming e Utilizzo dei Token

Abilita l'output in tempo reale impostando il parametro stream su true nella tua richiesta. L'API restituisce uno stream di Server-Sent Events (SSE), permettendoti di visualizzare i token man mano che vengono generati.

Le statistiche sull'utilizzo dei token sono incluse nell'ultimo chunk dello stream. Questo design mantiene il payload leggero durante la generazione garantendo al contempo dati di fatturazione accurati per il tuo credito prepagato.

Lo streaming riduce la latenza percepita per gli utenti finali. Puoi iniziare a renderizzare la risposta immediatamente, il che è cruciale per le applicazioni che richiedono loop di feedback interattivi o generazione di contenuti di testo lungo.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling e modalità JSON

Struttura i tuoi output per il consumo programmatico utilizzando la modalità JSON o il richiamo di funzioni. Imposta response_format su json_object per forzare il modello in uno schema JSON rigoroso.

Per l'utilizzo degli strumenti, definisci le tue funzioni nell'array tools. Il modello restituirà argomenti strutturati che il tuo codice può analizzare ed eseguire. Questa funzionalità supporta flussi di lavoro complessi senza richiedere librerie di parsing esterne.

La modalità JSON è particolarmente utile quando si estraggono dati da testo non strutturato. Garantisce una formattazione coerente, riducendo la necessità di pulizia post-elaborazione nella logica dell'applicazione.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parametri: Temperatura, Top P e Stop

Controlla la creatività e la terminazione delle tue risposte utilizzando i parametri di generazione standard. Regola temperature per la variabilità e top_p per il campionamento del nucleo. Usa il parametro stop per definire sequenze specifiche che segnalano la fine dell'output.

Impostare una temperatura più bassa produce risultati più deterministici e focalizzati. Valori più alti introducono più casualità, che può essere utile per il brainstorming o per attività di narrazione creativa.

Definisci le sequenze di stop per impedire che il modello venga eseguito indefinitamente. Questo è essenziale per mantenere un utilizzo prevedibile dei token e garantire che la tua applicazione riceva una risposta pulita e delimitata.

Gestazione degli errori e limiti

Monitora le tue richieste per i comuni codici di stato HTTP per gestire gli errori in modo efficace. Un 401 indica una chiave API non valida o scaduta, mentre un 402 segnala che il tuo credito prepagato è esaurito.

Il limite di velocità 429 viene attivato se superi le 300 richieste al minuto o hai più di 8 richieste concorrenti per chiave. Aumenta la tua capacità di elaborazione distribuendo il carico su più chiavi o riducendo la frequenza delle richieste.

La tua finestra di contesto supporta 100.000 token per prompt e completamento combinati. Tieni presente questo limite per evitare il troncamento. Errori e rifiuti non consumano token, quindi paghi solo per la generazione effettiva.