OpenAI uyumlu uç nokta hızlı başlangıcı

Temel URL ve Kimlik Doğrulama

API'mize standart temel URL ve benzersiz anahtarınızı kullanarak bağlanın. Her istek, ön ödemeli kredinize güvenli erişimi sağlamak için Authorization başlığı aracılığıyla kimlik doğrulaması gerektirir.

Uç noktamız yapısı, mevcut OpenAI yapılandırmanızı minimal sürtünme ile değiştirmenize olanak tanıyan endüstri standardını yansıtır. Karmaşık yönlendirmeyi yönetmenize veya satıcı kilitlemesine gerek kalmaz; altyapıyı biz yönetirken siz uygulama mantığına odaklanırsınız.

Anahtarınızı panelden anında oluşturun. Her hesap, önceki anahtarı yenileme sırasında değiştiren tek bir aktif anahtara sahiptir; bu da güvenlik durumunuzu basit ve şeffaf tutar.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Sohbet Tamamlamaları Uç Noktası

Prompt'unuzu chat completions uç noktasına gönderin ve uncensored modelinden doğrudan bir metin yanıtı alın. Bu tek uç nokta, gömme (embedding) veya çok modlu işleme yükü olmadan tüm metin oluşturmayı işler.

Model, sistem, kullanıcı ve asistan rollerini içeren standart bir mesaj dizisi kabul eder. Yasal yetişkin kullanımı için içerik reddi olmadan cevap verecek şekilde ayarlanmıştır; bu da onu yaratıcı yazım, rol yapma veya kısıtlamasız veri analizi için ideal kılar.

Payloadlarınızı kısa tutun. Maksimum istek gövdesi boyutu 8 MB'tır; bu, bağlam sınırına ulaşmadan önce çoğu standart konuşma geçmişini rahatça karşılar.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming ve Token Kullanımı

İsteğinizde stream parametresini true olarak ayarlayarak gerçek zamanlı çıktı etkinleştirin. API, belirteçler oluşturulurken görüntülemenize olanak tanıyan Sunucu Tarafı Olayları (SSE) akışı döndürür.

Token kullanım istatistikleri akışın son chunk'ında yer alır. Bu tasarım, üretim sırasında yükü hafif tutarken, ön ödemeli krediniz için doğru faturalandırma verisi almanızı sağlar.

Akış, son kullanıcılar için algılanan gecikmeyi azaltır. Yanıtı hemen oluşturmaya başlayabilirsiniz, bu etkileşimli geri bildirim döngüleri veya uzun biçimli içerik üretimi gerektiren uygulamalar için kritiktir.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Fonksiyon Çağırma ve JSON Modu

Çıktılarınızı programatik tüketim için JSON modu veya işlev çağırma kullanarak yapılandırın. Modeli katı bir JSON şemasına zorlamak için response_format'ı json_object olarak ayarlayın.

Araç kullanımı için işlevlerinizi tools dizisi içinde tanımlayın. Model, kodunuzun ayrıştırıp yürütebileceği yapılandırılmış argümanlar döndürür. Bu yetenek, harici ayrıştırma kütüphanelerine gerek kalmadan karmaşık iş akışlarını destekler.

JSON modu, yapılandırılmamış metinden veri çıkartırken özellikle kullanışlıdır. Tutarlı biçimlendirme sağlar ve uygulama mantığınızda sonrası işleme temizliği ihtiyacını azaltır.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parametreler: Sıcaklık, Top P ve Durdur

Yanıtlarınızın yaratıcılığını ve sonlandırmasını standart üretim parametrelerini kullanarak kontrol edin. Değişkenlik için sıcaklığı ve nükleus örnekleme için top_p'yi ayarlayın. Çıktının sonunu işaretleyen belirli dizileri tanımlamak için stop parametresini kullanın.

Daha düşük bir sıcaklık ayarı daha belirleyici ve odaklı sonuçlar üretir. Daha yüksek değerler daha fazla rastgelelik getirir; bu da beyin fırtınası veya yaratıcı hikaye anlatımı görevleri için faydalı olabilir.

Modelin sonsuza kadar çalışmasını önlemek için durma dizilerini (stop sequences) tanımlayın. Bu, öngörülebilir token kullanımını korumak ve uygulamanızın temiz, sınırlı bir yanıt almasını sağlamak için esastır.

Hata Yönetimi ve Sınırlamalar

Hataları etkili bir şekilde yönetmek için yaygın HTTP durum kodları için isteklerinizi izleyin. 401 geçersiz veya süresi dolmuş bir API anahtarını, 402 ise önceden ödenen kredinizin tükendiğini gösterir.

300 isteği dakikada aşarsanız veya anahtar başına 8'den fazla eşzamanlı isteğiniz olursa 429 hız sınırı tetiklenir. Yükü birden fazla anahtar arasında dağıtarak veya istek sıklığını azatarak iş yükünüzü artırın.

Bağlam pencereniz hem istem hem de tamamlama birlikte 100.000 token destekler. Bu sınırı göz önünde bulundurarak kesilmeyi önleyin. Hatalar ve reddetmeler token tüketmez, bu nedenle yalnızca gerçek oluşturulan içerik için ödeme yaparsınız.