Rychlý start koncového bodu kompatibilního s OpenAI

Základní URL a ověření

Připojte se k našemu API pomocí standardizované základní URL a vašeho unikátního klíče. Každý požadavek vyžaduje autentizaci přes hlavičku Authorization pro zajištění zabezpečeného přístupu k vašemu předplacenému kreditu.

Struktura našeho endpointu kopíruje průmyslový standard, což vám umožňuje vyměnit stávající konfiguraci OpenAI s minimálním třením. Nemusíte spravovat složité směrování ani zámek dodavatele; my řešíme infrastrukturu, zatímco vy se soustředíte na logiku aplikace.

Vygenerujte svůj klíč okamžitě přes dashboard. Každý účet udržuje jeden aktivní klíč, který nahrazuje předchozí při jeho znovuvytvoření, čímž zůstává vaše bezpečnostní úroveň jednoduchá a transparentní.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Endpoint Chat Completions

Pošlete svůj podnět na endpoint chat completions pro získání přímé textové odpovědi od modelu bez cenzury. Tento jediný endpoint zvládá veškeré generování textu bez zátěže embeddingů nebo multimodálního zpracování.

Model přijímá standardní pole zpráv obsahující role system, user a assistant. Je vyladěný tak, aby odpovídal bez odmítání obsahu pro legální použití dospělými, což z něj činí ideální volbu pro kreativní psaní, roleplay nebo neomezenou analýzu dat.

Udržujte svá těla požadavků stručná. Maximální velikost těla požadavku je 8 MB, což pohodlně pojme většinu standardních historií konverzací před dosažením limitu kontextu.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streamování a využití tokenů

Povolit výstup v reálném čase nastavením parametru stream na true ve své žádosti. API vrací stream Server-Sent Events (SSE), což vám umožňuje zobrazovat tokeny, jak jsou generovány.

Statistiky spotřeby tokenů jsou zahrnuty v posledním bloku streamu. Tento návrh udržuje payload lehký během generování, zatímco vám zajišťuje přesná data pro fakturaci vašeho předplaceného kreditu.

Streaming snižuje vnímanou latenci pro koncové uživatele. Můžete začít vykreslovat odpověď okamžitě, což je zásadní pro aplikace vyžadující interaktivní zpětnovazební smyčky nebo generování dlouhého obsahu.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Volání funkcí a režim JSON

Strukturujte své výstupy pro programovou spotřebu pomocí režimu JSON nebo volání funkcí. Nastavte response_format na json_object, abyste donutili model do přísného schématu JSON.

Pro používání nástrojů definujte své funkce v poli tools. Model vrátí strukturované argumenty, které může váš kód parsovat a vykonat. Tato funkce podporuje složité pracovní postupy bez nutnosti externích knihoven pro parsování.

Režim JSON je zvláště užitečný při extrakci dat z nestrukturovaného textu. Zajišťuje konzistentní formátování, což snižuje potřebu čištění post-processing ve vaší aplikační logice.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parametry: Teplota, Top P a Stop

Ovládejte kreativitu a ukončení svých odpovědí pomocí standardních parametrů generování. Upravte temperature pro variabilitu a top_p pro nucleus sampling. Použijte parametr stop k definici konkrétních sekvencí, které signalizují konec výstupu.

Nastavení nižší teploty produkuje více deterministické a zaměřené výsledky. Vyšší hodnoty zavádějí více náhodnosti, což může být výhodné pro brainstorming nebo kreativní vyprávění příběhů.

Definujte sekvence stop k zabránění neomezeného běhu modelu. To je zásadní pro udržení předvídatelného využití tokenů a zajištění čistého, odděleného odpovědi pro vaši aplikaci.

Zpracování chyb a limity

Sledujte své požadavky na běžné kódy stavu HTTP, abyste efektivně řešili chyby. 401 indikuje neplatný nebo expirovaný klíč API, zatímco 402 signalizuje, že je vyčerpán váš předplacený kredit.

Limit 429 se aktivuje, pokud překročíte 300 požadavků za minutu nebo máte více než 8 souběžných požadavků na klíč. Zvyšte svou propustnost rozložením zátěže na více klíčů nebo snížením frekvence požadavků.

Váš kontextový okno podporuje 100 000 tokenů pro prompt i dokončení dohromady. Mějte toto omezení na paměti, abyste předešli ořezu. Chyby a odmítnutí nespotřebovávají tokeny, takže platíte pouze za skutečnou generaci.