OpenAI-kompatibelt endpoint quickstart

Base URL og autentificering

Forbind til vores API ved hjælp af den standardiserede base-URL og din unikke nøgle. Hvert request kræver autentificering via Authorization-headeren for at sikre sikker adgang til din forudbetalte kredit.

Vores endepunktstruktur afspejler branchestandarden, hvilket giver dig mulighed for at udskifte din eksisterende OpenAI-konfiguration med minimal friktion. Du behøver ikke at administrere kompleks routing eller vendor lock-in; vi håndterer infrastrukturen, mens du fokuserer på applikationslogikken.

Generér din nøgle øjeblikkeligt via dashboardet. Hver konto opbevarer én aktiv nøgle, der erstatter den forrige ved genoprettelse, hvilket holder din sikkerhedsprofil enkel og gennemsigtig.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Chat Completions Endpoint

Send din prompt til chat completion-endepunktet for at modtage et direkte tekstrespons fra uncensored-modellen. Dette enkelt endepunkt håndterer al tekstgenerering uden overhead af embeddings eller multimodal behandling.

Modellen accepterer et standard meddelelsesarray, der indeholder system-, bruger- og assistentroller. Den er finjusteret til at svare uden indholdsafvisning til lovligt voksenbrug, hvilket gør den ideel til kreativ skrivning, rollespil eller ubegrænset dataanalyse.

Hold dine payload-konstante. Den maksimale størrelse for anmodningskroppen er 8 MB, hvilket komfortabelt passer de fleste standard samtalehistorier, før du når kontekstgrænsen.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming og Token-forbrug

Aktiver real-time output ved at indstille stream-parameteren til true i din request. API'et returnerer en Server-Sent Events (SSE) stream, hvilket giver dig mulighed for at vise tokens, mens de genereres.

Tokenforbrugsstatistikker er inkluderet i den sidste chunk af streamet. Denne design holder payloaden letvægt under generering, mens du sikrer, at du får nøjagtige faktureringsdata til din forudbetalte kredit.

Streaming reducerer opfattet latens for slutbrugere. Du kan begynde at render svaret øjeblikkeligt, hvilket er afgørende for applikationer, der kræver interaktive feedbackløkke eller generering af langformet indhold.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling og JSON-tilstand

Strukturer dine outputs til programmatisk forbrug ved hjælp af JSON-tilstand eller function calling. Indstil response_format til json_object for at tvinge modellen til en streng JSON-schema.

For værktøbsbrug skal du definere dine funktioner i tools-arrayet. Modellen returnerer strukturerede argumenter, som din kode kan analysere og eksekvere. Denne funktion understøtter komplekse arbejdsgange uden at kræve eksterne parseringsbiblioteker.

JSON-tilstand er særligt nyttigt, når du udtrækker data fra ustruktureret tekst. Det sikrer konsistent formatering og reducerer behovet for efterbehandlingsoprydning i din applikationslogik.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parametre: Temperatur, Top P og Stop

Styr kreativitet og afslutning af dine svar ved hjælp af standard genereringsparametre. Juster temperature for variabilitet og top_p for nucleus-sampling. Brug stop-parameteren til at definere specifikke sekvenser, der markerer slutningen på outputtet.

Indstilling af en lavere temperatur giver mere deterministiske og fokuserede resultater. Højere værdier introducerer mere tilfældighed, hvilket kan være gavnligt til brainstorming eller kreative fortælleopgaver.

Definer stopsekvenser for at forhindre, at modellen kører uendeligt. Dette er afgørende for at opretholde forudsigelig tokenbrug og sikre, at din applikation modtager et rent, afgrænset svar.

Fejlhåndtering og begrænsninger

Overvåg dine anmodninger efter almindelige HTTP-statuskoder for at håndtere fejl effektivt. En 401 indikerer en ugyldig eller udløbet API-nøgle, mens en 402 signalerer, at din forudbetalte kredit er opbrugt.

429 rate limit udløses, hvis du overskrider 300 anmodninger i minuttet eller har mere end 8 samtidige anmodninger per nøgle. Øg din throughput ved at fordele belastningen over flere nøgler eller reducere anmodningsfrekvensen.

Din kontekstvindu-grænse understøtter 100.000 tokens for både prompt og completion tilsammen. Vær opmærksom på denne grænse for at undgå forkortelse. Fejl og afvisninger forbruger ingen tokens, så du betaler kun for faktisk generering.