OpenAI-compatibele eindpunt quickstart

Basis-URL en authenticatie

Verbind met onze API via de gestandaardiseerde basis-URL en je unieke sleutel. Elk verzoek vereist authenticatie via de Authorization-header om veilige toegang tot je voorbetaalde tegoed te garanderen.

Onze endpointstructuur weerspiegelt de industriestandaard, waardoor je je bestaande OpenAI-configuratie met minimale wrijving kunt vervangen. Je hoeft geen complexe routing of vendor lock-in te beheren; wij verzorgen de infrastructuur terwijl jij je focust op de applicatielogica.

Genereer je sleutel direct via het dashboard. Elke account houdt één actieve sleutel aan die de vorige vervangt bij regeneratie, waardoor je beveiligingspositie eenvoudig en transparant blijft.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Chat Completions Endpoint

Stuur je prompt naar het chat-completie-eindpunt om een directe tekstrespons van het ongecensureerde model te ontvangen. Dit ene eindpunt behandelt alle tekstgeneratie zonder de overhead van embeddings of multimodale verwerking.

Het model accepteert een standaard berichtarray met system-, user- en assistant-rollen. Het is getuned om zonder inhoudsweigeringen te antwoorden voor wettelijk volwassen gebruik, wat het ideaal maakt voor creatief schrijven, roleplay of onbeperkte data-analyse.

Houd uw payloads beknopt. De maximale grootte van het requestbody is 8 MB, wat de meeste standaard conversatiegeschieden comfortabel aankan voordat u de contextlimiet bereikt.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming en Token-gebruik

Real-time uitvoer inschakelen door de stream-parameter in te stellen op true in je verzoek. De API retourneert een Server-Sent Events (SSE)-stream, waardoor je tokens kunt weergeven terwijl ze worden gegenereerd.

Tokengebruikstatistieken zijn opgenomen in het laatste chunk van de stream. Dit ontwerp houdt de payload lichtgewicht tijdens het genereren, terwijl je toch nauwkeurige factureringsgegevens krijgt voor je prepaid credit.

Streaming vermindert de waargenomen latentie voor eindgebruikers. Je kunt de respons direct beginnen weergeven, wat cruciaal is voor toepassingen die interactieve feedbacklussen of het genereren van lange teksten vereisen.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling en JSON-modus

Structureer je outputs voor programmatisch verbruik met JSON-modus of function calling. Stel response_format in op json_object om het model tot een strikt JSON-schema te dwingen.

Voor toolgebruik definieer je je functies in de tools-array. Het model retourneert gestructureerde argumenten die je code kan parseren en uitvoeren. Deze mogelijkheid ondersteunt complexe workflows zonder dat er externe parseringsbibliotheken nodig zijn.

JSON-modus is bijzonder handig bij het extraheren van gegevens uit ongestructureerde tekst. Het zorgt voor consistente opmaak, waardoor de behoefte aan opschoning in de applicatielogica wordt verminderd.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parameters: Temperatuur, Top P en Stop

Reguleer de creativiteit en beëindiging van je antwoorden met standaard generatieparameters. Pas temperatuur aan voor variabiliteit en top_p voor nucleus sampling. Gebruik de stop-parameter om specifieke sequenties te definiëren die het einde van de output markeren.

Een lagere temperatuur geeft meer deterministische en gerichte resultaten. Hogere waarden introduceren meer willekeurigheid, wat nuttig kan zijn voor brainstormsessies of creatieve verhaaltaken.

Definieer stop-reeksen om te voorkomen dat het model oneindig doorloopt. Dit is essentieel voor het behouden van voorspelbaar token-gebruik en ervoor te zorgen dat je applicatie een schone, afgebakende respons ontvangt.

Fouthantering en Limieten

Blijf uw aanvragen bewaken op veelvoorkomende HTTP-statuscodes om fouten effectief te beheren. Een 401 geeft aan dat de API-sleutel ongeldig of verlopen is, terwijl een 402 aangeeft dat uw vooruitbetaalde tegoed op is.

De 429-rate limit wordt geactiveerd als je meer dan 300 aanvragen per minuut overschrijdt of meer dan 8 gelijktijdige aanvragen per sleutel hebt. Verhoog je doorvoer door de belasting te verdelen over meerdere sleutels of door de aanvrafrequentie te verminderen.

Uw contextvenster ondersteunt 100.000 tokens voor zowel prompt als completion samen. Houd rekening met deze limiet om truncatie te vermijden. Fouten en weigeringen verbruiken geen tokens, dus u betaalt alleen voor daadwerkelijke generatie.