Kesalahan Umum API Inferensi: Panduan Pemecahan Masalah
API inferensi sering gagal karena batas token yang dikonfigurasi salah, header streaming yang tidak benar, atau filter konten yang tidak terduga. Panduan ini menyelesaikan kesalahan integrasi paling umum untuk deployment model uncensored dan klien kompatibel OpenAI.
Kesimpulan utama
Penolakan terjadi ketika batas keras tertentu seperti konten anak di bawah umur dilanggar, bukan hanya filter umum.
Jendela konteks menghitung token prompt dan completion bersama-sama, memerlukan manajemen input panjang yang hati-hati.
Respons streaming harus mengurai potongan terakhir untuk mengambil statistik penggunaan token yang akurat.
Kesalahan mode JSON biasanya berasal dari definisi skema yang rusak atau header response_format yang hilang.
Mengapa Model Tak Terkoreksi Anda Mungkin Masih Menolak
Model ini tidak menolak topik dewasa yang sah, fiksi, penelitian keamanan, atau kontroversial. Namun, batas konten keras selalu berlaku terkait konten seksual yang melibatkan anak di bawah umur. Permintaan yang berisi pelanggaran spesifik ini ditolak segera. Filter ini berbeda dari pengawal keamanan standar yang ditemukan pada model lain.
Periksa input Anda untuk indikator halus karakter minor dalam konteks seksual. Meskipun modelnya uncensored, batas spesifik ini masih ditegakkan. Semua jenis konten lainnya lolos tanpa penolakan. Ini memastikan kepatuhan hukum sambil mempertahankan kebebasan untuk kasus penggunaan lainnya.
Menangani Batas Token dan Jendela Konteks
Jendela konteks memungkinkan 100.000 token untuk prompt dan penyelesaian gabungan. Anda harus melacak token input untuk memastikan mereka tidak melebihi batas ini ketika digabungkan dengan output. Output maksimum per permintaan adalah 16.000 token. Jika Anda tidak mengatur max_tokens, defaultnya adalah 2.048 token.
Hitung anggaran Anda dengan cermat. Dokumen panjang menghabiskan konteks yang signifikan. Jika Anda melebihi batas, API mengembalikan kesalahan. Bagi input besar menjadi bagian-bagian lebih kecil untuk menjaga kinerja. Ini mencegah pemotongan informasi kritis dalam prompt Anda.
Debugging Respons Streaming
Streaming via SSE mengirimkan token secara real-time. Anda harus mem-parsing chunk terakhir untuk mengambil statistik penggunaan token yang akurat. Data penggunaan token hanya muncul di chunk terakhir stream. Chunk sebelumnya hanya berisi delta konten.
Terapkan penghitung untuk melacak total token yang diproses. Jumlahkan token input dan output dari respons akhir. Ini memastikan penagihan dan pelacakan penggunaan yang akurat. Jangan mengandalkan hitungan parsial dari potongan menengah. Mereka tidak mencerminkan total biaya permintaan.
Kesalahan Mode JSON dan Validasi
Mode JSON menegakkan validasi skema ketat. Anda harus mengatur parameter response_format menjadi json_object. Model berusaha mengeluarkan JSON yang valid. Kesalahan terjadi jika skema tidak valid atau output tidak dapat diparsing.
Validkan skema JSON Anda sebelum mengirim permintaan. Pastikan semua bidang yang diperlukan telah didefinisikan. Gunakan linter untuk memeriksa sintaks skema Anda. Ini mengurangi kesalahan validasi dan memastikan output yang konsisten. Uji dengan input kecil terlebih dahulu untuk memverifikasi format.
Memahami Pilihan Tool dan Function Calling
Pemanggilan fungsi memungkinkan model memanggil alat. Anda dapat menentukan tool_choice untuk mengontrol perilaku. Model mengembalikan data terstruktur untuk eksekusi alat. Ini memungkinkan alur kerja kompleks dan integrasi data eksternal.
Tentukan alat Anda dengan jelas dalam permintaan. Berikan deskripsi untuk setiap alat. Model menggunakan deskripsi ini untuk memutuskan kapan memanggilnya. Uji definisi alat dengan berbagai input. Pastikan output sesuai dengan format yang Anda harapkan.
Batas Laju dan Permintaan Konvergen
Setiap kunci dibatasi hingga 300 permintaan per menit. Anda dapat menjalankan hingga 8 permintaan simultan secara bersamaan. Ukuran body permintaan dibatasi hingga 8 MB. Melebihi batas ini akan menghasilkan error 429.
Terapkan backoff eksponensial untuk percobaan ulang. Pantau penggunaan Anda agar tetap dalam batas. Gunakan beberapa kunci jika Anda membutuhkan throughput yang lebih tinggi. Ini memastikan operasi lancar selama penggunaan puncak. Lacak volume permintaan Anda untuk menghindari gangguan yang tidak terduga.
Kejutan Harga: Token Input vs Output
Harga adalah $0.15 per 1M token input dan $0.50 per 1M token output. Token output lebih mahal. Respons panjang meningkatkan biaya secara signifikan. Pantau panjang output Anda untuk mengendalikan pengeluaran.
Atur max_tokens untuk membatasi panjang output. Ini mencegah biaya tak terduga dari respons panjang. Pantau penggunaan token Anda secara berkala. Gunakan data penggunaan token dari chunk terakhir untuk menghitung biaya secara akurat.
Pembayaran Kripto dan Kadaluarsa Kredit
Saldo diisi ulang hanya dengan kripto. Kami menerima USDT di jaringan TRC20 atau USDC di jaringan Base. Pengisian ulang minimum adalah $20 dan maksimum adalah $500. Saldo tidak pernah kedaluwarsa. Kesalahan seperti pembebanan ganda diperbaiki melalui halaman Dukungan.
Kredit bonus berlaku untuk pengisian saldo yang lebih besar. Anda menerima bonus +5% dari $50, +10% dari $100, dan +15% dari $200. Kesalahan dan penolakan gratis. Ini memastikan Anda hanya membayar untuk penggunaan aktual.
Pertanyaan yang sering diajukan
Apa itu API inference?
API inferensi memungkinkan Anda mengirimkan teks ke model bahasa besar dan menerima teks kembali. Ini menormalisasi endpoint sehingga Anda dapat menggunakan SDK standar. Ini menyederhanakan integrasi dengan aplikasi Anda.
Metode pembayaran apa saja yang Anda terima?
Hanya kripto: USDT pada TRC20 atau USDC pada Base, jumlah bulat apa pun dari $20 hingga $500. Kredit bonus berlaku mulai dari $50.
Apakah API mendukung streaming?
Ya, API ini mendukung streaming melalui Server-Sent Events. Anda menerima token secara real-time. Chunk terakhir berisi total penggunaan token.
Bagaimana cara membayar dengan kripto?
Anda dapat melakukan top up dengan USDT di jaringan TRC20 atau USDC di jaringan Base. Jumlah harus antara $20 dan $500. Kredit bonus ditambahkan secara otomatis.
Ambil kunci API Anda
Daftar, ambil kunci Anda, dan perbarui URL dasar. Itu seluruh konfigurasi.
