Snabbstart för OpenAI-kompatibel slutpunkt

Bas URL och autentisering

Anslut till vår API med den standardiserade bas-URLen och din unika nyckel. Varje begäran kräver autentisering via Authorization-headern för att säkerställa säker åtkomst till ditt förbetalda kredit.

Vår endpoint-struktur speglar branschstandarden, vilket gör att du kan byta ut din befintliga OpenAI-konfiguration med minimal friktion. Du behöver inte hantera komplex routning eller leverantörsbindning; vi hanterar infrastrukturen medan du fokuserar på applikationslogiken.

Generera din nyckel omedelbart via kontrollpanelen. Varje konto har en aktiv nyckel som ersätter den tidigare vid ny generering, vilket håller din säkerhetsnivå enkel och transparent.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Slutpunkt för chattkomplettering

Skicka din prompt till chattkompletteringsslutpunkten för att få ett direkt text svar från den icke-censurerade modellen. Denna enda slutpunkt hanterar all textgenerering utan överhead av embeddingar eller multimodal bearbetning.

Modellen accepterar ett standardiserat meddelandearray som innehåller roller för system, användare och assistent. Den är finjusterad för att svara utan innehållsrefuseringar för laglig vuxenanvändning, vilket gör den idealisk för kreativt skrivande, rollspel eller obegränsad dataanalys.

Håll dina laster koncisa. Den maximala storleken för begärans kropp är 8 MB, vilket rymmer de flesta standard konversationshistorier innan du når kontextgränsen.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming och Tokenanvändning

Aktivera realtidsoutput genom att ställa in stream-parametern till true i din begäran. API:et returnerar en Server-Sent Events (SSE)-ström, vilket gör att du kan visa tokens när de genereras.

Tokenanvändningsstatistik ingår i den sista biten av strömmen. Denna design håller lasten lätt under generering samtidigt som du får korrekt faktureringsdata för din förbetalda kredit.

Streaming minskar den upplevda latensen för slutanvändare. Du kan börja rendera svaret omedelbart, vilket är avgörande för applikationer som kräver interaktiva återkopplingsloopar eller långtextgenerering.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Funktionsanrop och JSON-läge

Strukturera dina utdata för programmatisk konsumtion med JSON-läge eller funktionsanrop. Ställ in response_format till json_object för att tvinga modellen till ett strikt JSON-schema.

För verktygsanvändning, definiera dina funktioner i tools-arrayen. Modellen returnerar strukturerade argument som din kod kan analysera och utföra. Denna funktion stöder komplexa arbetsflöden utan att kräva externa analysbibliotek.

JSON-läget är särskilt användbart när du extraherar data från ostrukturerad text. Det säkerställer konsekvent formatering, vilket minskar behovet av efterbearbetningsstädning i din applikationslogik.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parametrar: Temperatur, Top P och Stop

Styr kreativiteten och avslutet av dina svar med standarda genereringsparametrar. Justera temperaturen för variabilitet och top_p för nucleus-sampling. Använd stop-parametern för att definiera specifika sekvenser som signalerar slutet på outputen.

Att ställa in en lägre temperatur ger mer deterministiska och fokuserade resultat. Högre värden introducerar mer slumpmässighet, vilket kan vara fördelaktigt för brainstorming eller kreativa berättelseuppgifter.

Definiera stoppsekvenser för att förhindra att modellen kör oändligt. Detta är avgörande för att upprätthålla förutsägbar tokenanvändning och säkerställa att din applikation får ett rent, avgränsat svar.

Felfhantering och begränsningar

Övervaka dina begäranden för vanliga HTTP-statuskoder för att hantera fel effektivt. Ett 401-indikerar en ogiltig eller utgången API-nyckel, medan ett 402 signalerar att din förbetald kredit är slut.

429-hastighetsbegränsningen utlöses om du överskrider 300 begäranden per minut eller har mer än 8 samtidiga begäranden per nyckel. Öka din genomströmning genom att fördela belastningen över flera nycklar eller minska begäranfrekvensen.

Ditt kontextfönster stödjer 100 000 token för både prompt och komplettering tillsammans. Var medveten om denna gräns för att undvika avklippning. Fel och avvisningar förbrukar inga token, så du betalar bara för faktisk generering.