Pengenalan pantas hujung sepadan OpenAI

URL Asas dan Pengesahan

Sambungkan ke API kami menggunakan URL asas yang piawai dan kunci unik anda. Setiap permintaan memerlukan pengesahan melalui header Authorization untuk memastikan akses selamat kepada kredit pra-dibayar anda.

Struktur titik akhir kami meniru piawaian industri, membolehkan anda menukar konfigurasi OpenAI sedia ada dengan geseran minimum. Anda tidak perlu menguruskan pengalihan kompleks atau kunci vendor; kami mengendalikan infrastruktur sementara anda memberi tumpuan kepada logik aplikasi.

Jana kunci anda serta-merta melalui papan pemuka. Setiap akaun mengekalkan satu kunci aktif yang menggantikan kunci sebelumnya selepas penjanaan semula, memastikan tahap keselamatan anda mudah dan telus.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Hujung Sambungan Penyelesaian Sembang

Hantar arahan anda ke hujung penyelesaian chat untuk menerima respons teks langsung dari model tanpa sensor. Hujung tunggal ini mengendalikan semua penjanaan teks tanpa overhead embedding atau pemprosesan multimodal.

Model menerima larik mesej standard yang mengandungi peranan sistem, pengguna, dan pembantu. Ia disesuaikan untuk menjawab tanpa penolakan kandungan untuk penggunaan dewasa yang sah, menjadikannya ideal untuk penulisan kreatif, watak mainan, atau analisis data tanpa sekatan.

Jaga beban permintaan anda agar ringkas. Saiz badan permintaan maksimum ialah 8 MB, yang cukup selesa untuk sebahagian besar sejarah perbualan standard sebelum anda mencapai had konteks.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming dan Penggunaan Token

Aktifkan output masa nyata dengan menetapkan parameter stream kepada true dalam permintaan anda. API mengembalikan aliran Acara Dihantar Pelayan (SSE), membolehkan anda memaparkan token apabila ia dijana.

Statistik penggunaan token termasuk dalam segmen akhir aliran. Reka bentuk ini mengekalkan beban ringan semasa penjanaan sambil memastikan anda mendapatkan data bil yang tepat untuk kredit pra-dibayar anda.

Penstriman mengurangkan latensi yang dirasakan untuk pengguna akhir. Anda boleh mula memaparkan respons serta-merta, yang penting untuk aplikasi yang memerlukan gelung maklum balas interaktif atau penjanaan kandungan bentuk panjang.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Panggilan Fungsi dan Mod JSON

Struktur output anda untuk penggunaan programatik menggunakan mod JSON atau panggilan fungsi. Tetapkan response_format kepada json_object untuk memaksa model ke skema JSON yang ketat.

Untuk penggunaan alat, takrifkan fungsi anda dalam array tools. Model akan mengembalikan hujah terstruktur yang kod anda boleh urus dan laksanakan. Keupayaan ini menyokong aliran kerja kompleks tanpa memerlukan pustaka penguraian luar.

Mod JSON sangat berguna apabila mengekstrak data dari teks tidak terstruktur. Ia memastikan format yang konsisten, mengurangkan keperluan untuk pembersihan pasca-pemprosesan dalam logik aplikasi anda.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parameter: Suhu, Top P, dan Henti

Kawal kreativiti dan penghentian respons anda menggunakan parameter penjanaan standard. Laraskan suhu untuk kebolehubahan dan top_p untuk pensampelan nukleus. Gunakan parameter stop untuk menentukan rentetan khusus yang menandakan akhir output.

Menetapkan suhu yang lebih rendah menghasilkan keputusan yang lebih deterministik dan fokus. Nilai yang lebih tinggi memperkenalkan lebih banyak rawak, yang boleh bermanfaat untuk berfikir secara berpasukan atau tugas penceritaan kreatif.

Takrifkan jeda hentian untuk menghalang model daripada berjalan tanpa henti. Ini penting untuk mengekalkan penggunaan token yang boleh diramal dan memastikan aplikasi anda menerima respons yang bersih dan berpenamat.

Pengendalian Ralat dan Had

Pantau permintaan anda untuk kod status HTTP biasa untuk menguruskan ralat dengan berkesan. 401 menunjukkan kunci API tidak sah atau luput, manakala 402 menandakan bahawa kredit prabayar anda telah habis.

Had kadar 429 akan dicetuskan jika anda melebihi 300 permintaan setiap minit atau mempunyai lebih daripada 8 permintaan serentak setiap kunci. Tingkatkan throughput anda dengan mengagihkan beban merentasi beberapa kunci atau mengurangkan kekerapan permintaan.

Tetingkap konteks anda menyokong 100,000 token untuk gabungan prompt dan penyelesaian. Ambil perhatian had ini untuk mengelakkan pemendekan. Ralat dan penolakan tidak menggunakan token, jadi anda hanya membayar untuk penjanaan sebenar.