Çıkarım API'si Yaygın Hataları: Sorun Giderme Kılavuzu
Bir çıkarım API'si, yapılandırılmamış token sınırları, yanlış akış başlıkları veya beklenmeyen içerik filtreleri nedeniyle sıklıkla başarısız olur. Bu rehber, uncensored model dağıtımları ve OpenAI-uyumlu istemciler için en yaygın entegrasyon hatalarını çözer.
Temel çıkarımlar
Reddederler, ergen içeriği gibi belirli katı sınırlar ihlal edildiğinde gerçekleşir, yalnızca genel filtreler nedeniyle değil.
Bağlam pencereleri istem ve tamamlama tokenlarını birlikte sayar; bu da uzun girdilerin dikkatli yönetilmesini gerektirir.
Akış yanıtları, doğru token kullanım istatistiklerini almak için son parçayı ayrıştırmalıdır.
JSON modu hataları genellikle hatalı şema tanımlarından veya eksik response_format başlıklarından kaynaklanır.
Neden Uncensored Modeliniz Hâlâ Reddediyor Olabilir
Model, yasal yetişkin, kurgusal, güvenlik araştırmaları veya tartışmalı konularda reddetmez. Ancak, çocuklarla ilgili cinsel içerik konusunda her zaman bir katı içerik sınırı geçerlidir. Bu belirli ihlali içeren istekler hemen reddedilir. Bu filtre, diğer modellerde bulunan standart güvenlik güvenlik önlemlerinden farklıdır.
Cinsel bağlamlarda alt karakterlerin ince göstergeleri için girdinizi kontrol edin. Model uncensored olsa bile, bu belirli sınır hala uygulanır. Diğer tüm içerik türleri reddedilmeden geçer. Bu, yasal uyumluluğu korurken diğer kullanım durumları için özgürlük sağlar.
Token Limitlerini ve Bağlam Pencerelerini İşleme
Bağlam penceresi hem istem hem de tamamlama için 100,000 token sağlar. Birleşik çıktı ile bu limiti aşmamak için girdi tokenlerini izlemelisiniz. İstek başına maksimum çıktı 16,000 token'dir. max_tokens ayarlanmazsa varsayılan 2,048 token'dir.
Bütçenizi dikkatlice hesaplayın. Uzun belgeler önemli miktarda bağlam tüketir. Sınırı aşarsanız API bir hata döndürür. Performansı korumak için büyük girişleri daha küçük parçalara bölün. Bu, isteminizdeki kritik bilgilerin kesilmesini önler.
Akış Yanıtlarını Hata Ayıklama
SSE aracılığıyla akış, tokenları gerçek zamanlı olarak iletir. Hassas token kullanım istatistiklerini almak için son parçayı ayrıştırmalısınız. Token kullanım verileri yalnızca akışın son parçasında görünür. Önceki parçalar yalnızca içerik farkını içerir.
İşlenen toplam tokenları izlemek için bir sayaç uygulayın. Son yanıtın giriş ve çıkış tokenlarını toplayın. Bu, doğru faturalandırma ve kullanım takibini sağlar. Aradaki parçalardan gelen kısmi sayılara güvenmeyin. Bunlar, istek için toplam maliyeti yansıtmaz.
JSON Modu Hataları ve Doğrulama
JSON modu katı şema doğrulamasını zorlar. response_format parametresini json_object olarak ayarlamanız gerekir. Model geçerli JSON çıkışı yapmaya çalışır. Şema bozuksa veya çıktı ayrıştırılamıyorsa hatalar oluşur.
İstekleri göndermeden önce JSON şemanızı doğrulayın. Tüm gerekli alanların tanımlandığından emin olun. Şema sözdizimini kontrol etmek için bir linter kullanın. Bu, doğrulama hatalarını azaltır ve tutarlı bir çıktı sağlar. Formatı doğrulamak için önce küçük girdilerle test edin.
Araç Seçimi ve Fonksiyon Çağırma Anlamak
Fonksiyon çağırma, modelin araçları çağırmasına olanak tanır. Davranışı kontrol etmek için tool_choice parametresini belirtebilirsiniz. Model, araç yürütme için yapılandırılmış veri döndürür. Bu, karmaşık iş akışlarını ve harici veri entegrasyonunu mümkün kılar.
Araçlarınızı istekte net bir şekilde tanımlayın. Her bir araç için açıklamalar sağlayın. Model, bu açıklamaları kullanarak ne zaman çağıracaklarına karar verir. Araç tanımlarını çeşitli girdilerle test edin. Çıktının beklenen biçimle eşleştiğinden emin olun.
Saniye Başına İstek Limitleri ve Eşzamanlı İstekler
Her anahtar dakikada 300 istekle sınırlıdır. Eşzamanlı olarak en fazla 8 istek çalıştırabilirsiniz. İstek gövdesi boyutu 8 MB ile sınırlıdır. Bu limitlerin aşılması 429 hatasına neden olur.
Yeniden denemeler için üstel geri çekilme uygulayın. Sınırlar içinde kalmak için kullanımınızı izleyin. Daha yüksek verimlilik için birden fazla anahtar kullanın. Bu, yoğun kullanım zamanlarında sorunsuz çalışma sağlar. Beklenmeyen kesintılardan kaçınmak için istek hacminizi takip edin.
Fiyatlandırma Sürprizleri: Giriş vs. Çıkış Tokenları
Fiyatlandırma, 1M giriş token'ı başına $0.15 ve 1M çıktı token'ı başına $0.50'dir. Çıktı token'ları daha pahalıdır. Uzun yanıtlar maliyetleri önemli ölçüde artırır. Giderleri kontrol etmek için çıktı uzunluğunuzu izleyin.
Çıkış uzunluğunu sınırlamak için max_tokens değerini ayarlayın. Bu, uzun yanıtlardan kaynaklanabilecek beklenmeyen ücretleri önler. Token kullanımınızı düzenli olarak takip edin. Maliyetleri doğru hesaplamak için son chunk'tan gelen token kullanım verilerini kullanın.
Kripto Ödemeler ve Kredi Son Kullanma Tarihi
Bakiye yalnızca kripto ile yüklenir. TRC20 üzerinde USDT veya Base üzerinde USDC kabul edilir. Minimum yükleme $20 ve maksimum $500'dür. Bakiyenin süresi dolmaz. Çift ücretlendirme gibi hatalar Destek sayfası üzerinden düzeltilir.
Bonus kredi, daha büyük yüklemelere uygulanır. $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 bonus alırsınız. Hatalar ve reddedilen istekler ücretsizdir. Bu, yalnızca gerçek kullanım için ödeme yapmanızı sağlar.
Sıkça sorulan sorular
Bir inference API nedir?
Bir çıkarım API'si, metni büyük bir dil modeline göndermenizi ve metin almanızı sağlar. Uç noktası normalize eder, böylece standart SDK'ları kullanabilirsiniz. Bu, uygulamalarınızla entegrasyonu basitleştirir.
Hangi ödeme yöntemlerini kabul ediyorsunuz?
Yalnızca Kripto: TRC20 üzerinde USDT veya Base üzerinde USDC, $20 ile $500 arasında herhangi bir tam tutar. Bonus kredi $50'den itibaren geçerlidir.
API streaming destekliyor mu?
Evet, Server-Sent Events üzerinden streaming desteği sunar. Tokenları gerçek zamanlı olarak alırsınız. Son chunk, toplam token kullanımını içerir.
Kripto para ile nasıl ödeme yaparım?
TRC20 üzerinde USDT veya Base üzerinde USDC ile bakiye yükleyebilirsiniz. Tutar $20 ile $500 arasında olmalıdır. Bonus kredi otomatik olarak eklenir.
API anahtarınızı getirin
Kaydolun, anahtarınızı alın ve temel URL'yi güncelleyin. Tüm yapılandırma bu.
