Kesilapan Biasa API Penolakan: Panduan Penyelesaian Masalah
API inferens sering gagal akibat had token yang dikonfigurasi dengan salah, pengepala penstriman yang salah, atau penapis kandungan yang tidak dijangka. Panduan ini menyelesaikan kesilapan integrasi paling biasa untuk pelaksanaan model uncensored dan klien serasi OpenAI.
Penemuan utama
Penolakan berlaku apabila had keras tertentu seperti kandungan kanak-kanak dilanggar, bukan hanya penapis umum.
Jendela konteks mengira token prompt dan penyelesaian bersama-sama, memerlukan pengurusan teliti untuk input panjang.
Respons aliran mesti menguraikan segmen akhir untuk mendapatkan statistik penggunaan token yang tepat.
Kesilapan mod JSON biasanya berpunca dari definisi skema yang rosak atau header response_format yang hilang.
Kenapa Model Tidak Disensor Anda Mungkin Masih Menolak
Model ini tidak menolak topik dewasa yang sah, fiksyen, penyelidikan keselamatan, atau kontroversial. Walau bagaimanapun, had kandungan tegas sentiasa terpakai mengenai kandungan seksual yang melibatkan kanak-kanak. Permintaan yang mengandungi pelanggaran khusus ini ditolak serta-merta. Penapis ini berbeza daripada pengawal keselamatan piawai yang terdapat dalam model lain.
Semak input anda untuk penunjuk halus watak minor dalam konteks seksual. Walaupun model adalah uncensored, sempadan khusus ini masih dikuatkuasakan. Semua jenis kandungan lain lulus tanpa penolakan. Ini memastikan pematuhan undang-undang sambil mengekalkan kebebasan untuk kesgunaan lain.
Mengendalikan Had Token dan Jendela Konteks
Tetingkap konteks membolehkan 100,000 token untuk prompt dan penyelesaian secara gabungan. Anda mesti mengesan token input untuk memastikan ia tidak melebihi had ini apabila digabungkan dengan output. Output maksimum setiap permintaan ialah 16,000 token. Jika anda tidak menetapkan max_tokens, lalai ialah 2,048 token.
Kira bajet anda dengan teliti. Dokumen panjang menggunakan konteks yang signifikan. Jika anda melebihi had, API akan memulangkan ralat. Bahagikan input besar kepada bahagian yang lebih kecil untuk mengekalkan prestasi. Ini menghalang pemotongan maklumat penting dalam prompt anda.
Nyahpepijat Respons Streaming
Penstriman melalui SSE menghantar token secara masa nyata. Anda mesti menafsirkan potongan akhir untuk mendapatkan statistik penggunaan token yang tepat. Data penggunaan token muncul hanya dalam potongan terakhir aliran. Potongan sebelumnya mengandungi hanya delta kandungan.
Laksanakan pengira untuk mengesan jumlah token yang diproses. Jumlahkan token input dan output dari respons akhir. Ini memastikan pengebilan dan penjejakan penggunaan yang tepat. Jangan bergantung pada kiraan separuh daripada bahagian antara. Mereka tidak mencerminkan jumlah kos permintaan tersebut.
Ralat Mod JSON dan Pengesahan
mod JSON memaksakan pengesahan skema ketat. Anda mesti menetapkan parameter response_format kepada json_object. Model cuba mengeluarkan JSON yang sah. Ralat berlaku jika skema rosak atau output tidak dapat diuraikan.
Sahkan skema JSON anda sebelum menghantar permintaan. Pastikan semua medan diperlukan ditakrifkan. Gunakan pembersih linter untuk menyemak sintaks skema anda. Ini mengurangkan ralat pengesahan dan memastikan output yang konsisten. Uji dengan input kecil dahulu untuk mengesahkan format.
Memahami Pilihan Alat dan Panggilan Fungsi
Pemanggilan fungsi membolehkan model memanggil alat. Anda boleh menentukan tool_choice untuk mengawal tingkah laku. Model memulangkan data terstruktur untuk pelaksanaan alat. Ini membolehkan aliran kerja kompleks dan integrasi data luaran.
Takrifkan alat anda dengan jelas dalam permintaan. Sediakan penerangan untuk setiap alat. Model menggunakan penerangan ini untuk memutuskan bila untuk memanggilnya. Uji takrifan alat dengan pelbagai input. Pastikan output sepadan dengan format yang dijangkakan.
Had had laju dan permintaan serentak
Setiap kunci terhad kepada 300 permintaan setiap minit. Anda boleh mempunyai sehingga 8 permintaan serentak serentak. Saiz badan permintaan dikurangkan kepada 8 MB. Melangkaui had ini akan menyebabkan ralat 429.
Laksanakan penangguhan eksponen untuk cubaan semula. Pantau penggunaan anda untuk kekal dalam had. Gunakan beberapa kunci jika anda memerlukan throughput yang lebih tinggi. Ini memastikan operasi lancar semasa penggunaan puncak. Jejak isipadu permintaan anda untuk mengelakkan gangguan yang tidak dijangka.
Kejutan Harga: Token Input vs Token Output
Harga ialah $0.15 bagi setiap 1M token input dan $0.50 bagi setiap 1M token output. Token output lebih mahal. Respons panjang meningkatkan kos dengan ketara. Pantau panjang output anda untuk mengawal perbelanjaan.
Tetapkan max_tokens untuk mengawal panjang output. Ini menghalang caj tidak dijangka daripada respons yang panjang. Jejak penggunaan token anda secara berkala. Gunakan data penggunaan token daripada potongan akhir untuk mengira kos dengan tepat.
Pembayaran Crypto dan Luput Kredit
Kredit hanya diisi semula menggunakan kripto sahaja. Kami menerima USDT pada TRC20 atau USDC pada Base. Minimum isi semula ialah $20 dan maksimum ialah $500. Kredit tidak luput. Kesilapan seperti caj berganda akan dibaiki melalui halaman Sokongan.
Kredit bonus terpakai pada baki atas yang lebih besar. Anda menerima bonus +5% dari $50, +10% dari $100, dan +15% dari $200. Kesalahan dan penolakan adalah percuma. Ini memastikan anda hanya membayar untuk penggunaan sebenar.
Soalan lazim
Apakah API inferens?
API inferens membolehkan anda menghantar teks ke model bahasa besar dan menerima teks semula. Ia menormalisasikan hujung supaya anda boleh menggunakan SDK standard. Ini memudahkan integrasi dengan aplikasi anda.
Kaedah pembayaran manakah yang anda terima?
Kripto sahaja: USDT pada TRC20 atau USDC pada Base, sebarang jumlah bulat dari $20 hingga $500. Kredit bonus terpakai dari $50.
Adakah API menyokong penstriman?
Ya, ia menyokong penstriman melalui Server-Sent Events. Anda menerima token secara masa nyata. Blok akhir mengandungi jumlah penggunaan token.
Bagaimana cara membayar menggunakan kripto?
Anda boleh menambah baki dengan USDT pada TRC20 atau USDC pada Base. Jumlah mestilah antara $20 dan $500. Kredit bonus ditambah secara automatik.
Dapatkan kunci API anda
Daftar, dapatkan kunci anda, dan kemas kini URL asas. Itu keseluruhan konfigurasi.
