OpenAI-kompatibilis végpont gyors kezdés

Base URL és Hitelesítés

Csatlakozzon API-nkhoz a szabványos base URL és egyedi kulcsa segítségével. Minden kérés hitelesítést igényel az Authorization fejlécben a biztonságos hozzáférés biztosítása érdekében az előrefizetett hitelhez.

A végpont struktúrája tükrözi az iparági szabványt, lehetővé téve meglévő OpenAI konfigurációjának cseréjét minimális súrlódással. Nem kell kezelnie a komplex routingot vagy a gyártói kötöttséget; mi kezeljük az infrastruktúrát, míg Ön az alkalmazás logikájára fókuszál.

Generálja le a kulcsát azonnal a műszerfalon keresztül. Minden fiók egy aktív kulccsal rendelkezik, amely a regenerálás során lecseréli az előzőt, így egyszerű és átlátható marad a biztonsági helyzet.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Chat Completions végpont

Küldje el a promptját a chat completions végpontra, hogy közvetlen szöveges választ kapjon az uncensored modelltől. Ez az egyetlen végpont kezeli az összes szöveggenerálást az embeddingek vagy multimodális feldolgozás többletköltsége nélkül.

A modell elfogadja a szabványos üzenettömböt, amely rendszer-, felhasználó- és asszisztens szerepeket tartalmaz. Úgy van hangolva, hogy tartalom-elutasítás nélkül válaszoljon jogszerű felnőtt felhasználás esetén, így ideális kreatív íráshoz, szerepjátékhoz vagy korlátlan adat elemzéshez.

Tartsa tömörre a payloadokat. A kérelem törzsének maximális mérete 8 MB, ami kényelmesen belefér a legtöbb szabványos beszélgetési előzménybe a kontextuslimit elérése előtt.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming és Token Használat

Valós idejű kimenet engedélyezése a stream paraméter true értékre állításával a kérésben. Az API Server-Sent Events (SSE) streamet ad vissza, lehetővé téve a tokenek megjelenítését generálásuk közben.

A tokenfelhasználási statisztikák a stream végső tömbjében szerepelnek. Ez a kialakítás könnyen tartható terhelést biztosít a generálás során, miközben pontos számlázási adatokat kap az előfizetett hitelhez.

A streamelés csökkenti az észlelt késleltetést a végfelhasználók számára. Azonnal megkezdheti a válasz renderelését, ami kritikus az interaktív visszajelzési hurkokat vagy hosszú formátumú tartalomgenerálást igénylő alkalmazások számára.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Függvényhívás és JSON mód

Strukturálja a kimenetét programozott fogyasztásra JSON mód vagy függvényhívás segítségével. Állítsa be a response_format értéket json_object-re, hogy a modellt szigorú JSON sémára kényszerítse.

Eszközök használatához definiálja függvényeit a tools tömbben. A modell strukturált argumentumokat ad vissza, amelyeket a kódja elemezhet és végrehajthat. Ez a képesség támogatja a komplex munkafolyamatokat külső elemző könyvtárak nélkül.

A JSON különösen hasznos strukturálatlan szövegből történő adatkinyerésnél. Biztosítja a konzisztens formázást, csökkentve az utófeldolgozási tisztítás szükségességét az alkalmazás logikájában.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Paraméterek: Hőmérséklet, Top P és Stop

A válaszok kreativitásának és lezárásának szabályozása standard generálási paraméterekkel. Állítsa be a temperature-t a változatossághoz és a top_p-t a nucleus mintavételezéshez. Használja a stop paramétert a kimenet végét jelző specifikus szekvenciák meghatározásához.

Az alacsonyabb temperature meghatározottabb és fókuszáltabb eredményeket ad. A magasabb értékek több véletlenszerűséget vezetnek be, ami hasznos lehet ötleteléshez vagy kreatív történetmesélési feladatokhoz.

Határozzon meg stop szekvenciákat a modell végtelen futásának megakadályozására. Ez elengedhetetlen a kiszámítható tokenfelhasználás és a tiszta, elhatárolt válasz biztosítása érdekében.

Hibakezelés és korlátok

Kövesse a kérelmeket a gyakori HTTP státuskódok alapján a hibák hatékony kezeléséhez. A 401 érvénytelen vagy lejárt API kulcsot jelez, a 402 pedig azt, hogy az előrefizetett creditje elfogyott.

A 429-es rate limit akkor aktiválódik, ha meghaladod a percenkénti 300 kérést, vagy több mint 8 párhuzamos kérésed van kulcsonként. Növelheted az áteresztőképességet, ha több kulcs között osztod meg a terhelést, vagy csökkented a kérések gyakoriságát.

A kontextusablakod 100 000 tokenben maximális mind a prompt, mind a generálás együttvéve. Figyelj erre a határra a leágolás elkerülése érdekében. A hibák és a visszautasítások nem fogyasztanak tokeneket, így csak a tényleges generálásért fizetsz.