OpenAI-yhteensopiva päätepisteen pikakäynnistys

Perus-URL ja todennus

Yhdistä APIimme standardoidun base URL - ja ainutlaatuisen avaimen avulla. Jokainen pyyntö vaatii todennuksen Authorization-otsikon kautta varmistaaksesi turvallisen pääsyn esimaksuun luottoon.

Päätepisteen rakenteemme peilaa teollisuuden standardia, mikä mahdollistaa olemassa olevan OpenAI-määrityksen vaihdon vähäisellä vaivalla. Sinun ei tarvitse hallita monimutkaista reititystä tai toimittajalukkiutumista; me hoidamme infrastruktuurin, kun sinä keskityt sovelluslogiikkaan.

Luo avimesi välittömästi hallintapaneelista. Jokaisessa tilissä on yksi aktiivinen avain, joka korvaa edellisen uudelleenluonnin yhteydessä, jolloin turvallisuus pysyy yksinkertaisena ja läpinäkyvänä.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Chat Completions Endpoint

Lähetä promptisi chat-completions-päätepisteeseen saadaksesi suoran tekstimäisen vastauksen sensuroimattomalta mallilta. Tämä yksittäinen päätepiste käsittelee kaikki tekstin luonnit ilman vektoreiden tai multimodaalisen käsittelyn ylikuormitusta.

Malli hyväksyy vakioviestitaulukon, joka sisältää järjestelmä-, käyttäjä- ja avustajaroolit. Se on hienosäädetty vastaamaan ilman sisältöjen hylkäämistä lailliseen aikuiskäyttöön, mikä tekee siitä ihanteellisen luovaan kirjoittamiseen, roolipeliin tai rajoittamattomaan datan analysointiin.

Pidä pyyntösi tiiviinä. Pyynnön kehon enimmäiskoko on 8 Mt, mikä mahtuu mukavasti useimpiin vakiokeskusteluhistorioihin ennen kontekstirajaa.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streamaus ja token-käyttö

Ota käyttöön reaaliaikainen tuloste asettamalla stream-parametri arvoon true pyynnössäsi. API palauttaa palvelimen lähettämien tapahtumien (SSE) suoratoiston, joka mahdollistaa tokenien näyttämisen niiden generoitumisen aikana.

Token-käystilastot sisällytetään streamin lopulliseen palaseen. Tämä suunnittelu pitää kuorman kevyenä tuotannon aikana samalla kun varmistat tarkan laskutustiedon esimaksuluottamukseesi.

Streamaus vähentää havaittua viivettä loppukäyttäjille. Voit aloittaa vastauksen renderöinnin välittömästi, mikä on ratkaisevaa sovelluksille, jotka vaativat interaktiivisia palautteen kiertoja tai pitkän tekstin generointia.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Funktikutsut ja JSON-tila

Rakenna lähtösi ohjelmoitavaa kulutusta varten JSON-tilan tai funktiokutsun avulla. Aseta response_format arvoon json_object pakottaaksesi mallin tiukkaan JSON-skeemaan.

Työkalujen käytössä määrittele funktiosi tools-taulukossa. Malli palauttaa rakenteelliset argumentit, jotka koodisi voi jäsentää ja suorittaa. Tämä ominaisuus tukee monimutkaisia työvuoroja ilman, että ulkoisia jäsentämisraamistoja tarvitaan.

JSON-tila on erityisen hyödyllinen, kun erotetaan tietoja epärakenteellisesta tekstistä. Se varmistaa johdonmukaisen muotoilun, mikä vähentää tarvetta jälkikäsittelyyn sovelluslogiikassasi.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parametrit: Lämpötila, Top P ja Stop

Säädä vastaustesi luovuutta ja päättymistä käyttämällä yleisiä tuontaparametreja. Säädä lämpötilaa vaihtelun ja top_p:ta ytimenohtaan (nucleus sampling) varten. Käytä stop-parametria määrittääksesi tiettyjä sekvenssejä, jotka merkitsevät tuloksen loppua.

Alhaisempi temperature tuottaa deterministisempiä ja keskittyneempiä tuloksia. Korkeammat arvot lisäävät satunnaisuutta, mikä voi olla hyödyllistä aivoriihessä tai luovassa tarinankerronnassa.

Määritä stop-sekvenssit estääksesi mallin juoksemasta äärettömiin. Tämä on olennaista ennustettavan token-käytön ylläpitämiseksi ja varmistamaan, että sovelluksesi saa siistin, erotellun vastauksen.

Virheenkäsittely ja rajat

Seuraa pyyntöjäsi yleisten HTTP-tilakoodien varalta virheiden tehokkaaseen hallintaan. Virhekoodi 401 viittaa virheelliseen tai vanhentuneeseen API-avaimiin, kun taas 402 merkitsee, että esimaksullinen rahavarasi on loppu.

429-nopeusraja aktivoituu, jos ylität 300 pyyntöä minuutissa tai sinulla on enemmän kuin 8 samanaikaista pyyntöä per avain. Lisää läpäisykykyäsi jakamalla kuormaa useiden avainten välillä tai vähentämällä pyyntöjen taajuutta.

Kontekstikkonisi tukee 100 000 tokenia sekä promptin että tuloksen yhteensä. Ole tietoinen tästä rajasta välttääksesi katkaisut. Virheet ja hylkäykset eivät kuluta tokenia, joten maksat vain todellisesta tuotannosta.