Quickstart endpoint OpenAI-compatible

URL Dasar dan Autentikasi

Terhubung ke API kami menggunakan URL dasar yang distandarisasi dan kunci unik Anda. Setiap permintaan memerlukan autentikasi melalui header Authorization untuk memastikan akses aman ke kredit pra-dibayar Anda.

Struktur endpoint kami mencerminkan standar industri, memungkinkan Anda menukar konfigurasi OpenAI yang ada Anda dengan gesekan minimal. Anda tidak perlu mengelola routing kompleks atau vendor lock-in; kami menangani infrastruktur sementara Anda fokus pada logika aplikasi.

Hasilkan kunci Anda secara instan melalui dasbor. Setiap akun mempertahankan satu kunci aktif yang menggantikan kunci sebelumnya saat dibuat ulang, menjaga keamanan Anda tetap sederhana dan transparan.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Endpoint Chat Completions

Kirimkan prompt Anda ke endpoint penyelesaian obrolan untuk menerima respons teks langsung dari model tanpa sensor. Endpoint tunggal ini menangani semua generasi teks tanpa overhead embedding atau pemrosesan multimodal.

Model ini menerima array pesan standar yang berisi peran system, user, dan assistant. Model ini di-tune untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, menjadikannya ideal untuk penulisan kreatif, roleplay, atau analisis data tanpa batasan.

Jaga payload Anda tetap ringkas. Ukuran badan permintaan maksimum adalah 8 MB, yang dengan nyaman memuat sebagian besar riwayat percakapan standar sebelum Anda mencapai batas konteks.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming dan Penggunaan Token

Aktifkan output real-time dengan mengatur parameter stream ke true dalam permintaan Anda. API mengembalikan stream Server-Sent Events (SSE), memungkinkan Anda menampilkan token saat dihasilkan.

Statistik penggunaan token disertakan dalam potongan terakhir stream. Desain ini menjaga payload tetap ringan selama generasi sambil memastikan Anda mendapatkan data penagihan yang akurat untuk kredit prabayar Anda.

Streaming mengurangi latensi yang dirasakan bagi pengguna akhir. Anda dapat mulai merender respons segera, yang sangat penting untuk aplikasi yang memerlukan loop umpan balik interaktif atau generasi konten teks panjang.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Pemanggilan Fungsi dan Mode JSON

Strukturkan output Anda untuk konsumsi programmatic menggunakan mode JSON atau function calling. Tetapkan response_format ke json_object untuk memaksa model ke skema JSON ketat.

Untuk penggunaan alat, tentukan fungsi Anda dalam array tools. Model akan mengembalikan argumen terstruktur yang dapat diparsing dan dieksekusi oleh kode Anda. Kemampuan ini mendukung alur kerja kompleks tanpa memerlukan pustaka parsing eksternal.

Mode JSON sangat berguna ketika mengekstrak data dari teks tidak terstruktur. Ini memastikan format yang konsisten, mengurangi kebutuhan akan pembersihan pasca-pemrosesan dalam logika aplikasi Anda.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parameter: Suhu, Top P, dan Stop

Kendalikan kreativitas dan pengakhiran respons Anda menggunakan parameter generasi standar. Sesuaikan suhu untuk variabilitas dan top_p untuk pengambilan sampel inti. Gunakan parameter stop untuk menentukan urutan spesifik yang menandai akhir output.

Pengaturan suhu yang lebih rendah menghasilkan hasil yang lebih deterministik dan fokus. Nilai yang lebih tinggi memperkenalkan lebih banyak keacakan, yang dapat bermanfaat untuk brainstorming atau tugas cerita kreatif.

Tentukan urutan henti untuk mencegah model berjalan tanpa batas. Ini penting untuk menjaga penggunaan token yang dapat diprediksi dan memastikan aplikasi Anda menerima respons yang bersih dan terdelimitasi.

Penanganan Kesalahan dan Batasan

Pantau permintaan Anda untuk kode status HTTP umum guna mengelola error secara efektif. 401 menunjukkan kunci API tidak valid atau kedaluwarsa, sedangkan 402 menandakan kredit prabayar Anda telah habis.

Batas laju 429 akan memicu jika Anda melebihi 300 permintaan per menit atau memiliki lebih dari 8 permintaan bersamaan per kunci. Tingkatkan throughput Anda dengan mendistribusikan beban di seluruh beberapa kunci atau mengurangi frekuensi permintaan.

Jendela konteks Anda mendukung 100,000 token untuk gabungan prompt dan completion. Sadari batas ini untuk menghindari pemotongan. Error dan penolakan tidak mengonsumsi token, sehingga Anda hanya membayar untuk generasi aktual.