Szybki start punktu końcowego kompatybilnego z OpenAI

Bazowy URL i autoryzacja

Połącz się z naszym API, używając standaryzowanego bazowego URL i swojego unikalnego klucza. Każde żądanie wymaga uwierzytelnienia przez nagłówek Authorization, aby zapewnić bezpieczny dostęp do Twojej z góry opłaconej kredyty.

Struktura naszego punktu końcowego odzwierciedla standard branżowy, pozwalając na wymianę istniejącej konfiguracji OpenAI przy minimalnym wysiłku. Nie musisz zarządzać złożonym routowaniem ani blokadą dostawcy; my zajmujemy się infrastrukturą, a Ty skupiasz się na logice aplikacji.

Wygeneruj klucz natychmiast przez panel. Każde konto posiada jeden aktywny klucz, który zastępuje poprzedni po jego wygenerowaniu, zapewniając prostą i przejrzystą politykę bezpieczeństwa.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Punkt końcowy Uzupełnień Czat

Wyślij swój prompt do endpointu chat completions, aby otrzymać bezpośrednią odpowiedź tekstową od modelu uncensored. Ten pojedynczy endpoint obsługuje wszystkie generowanie tekstu bez narzutu embeddingów lub przetwarzania multimodalnego.

Model akceptuje standardową tablicę wiadomości zawierającą role systemowe, użytkownika i asystenta. Jest dostrojony do odpowiadania bez odrzucania treści dla legalnego użytku dorosłych, co czyni go idealnym do pisania kreatywnego, roleplay lub nieograniczonej analizy danych.

Utrzymuj swoje ładunki zwięzłe. Maksymalny rozmiar ciała żądania to 8 MB, co wygodnie mieści większość standardowych historii rozmów przed osiągnięciem limitu kontekstu.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Strumieniowanie i zużycie tokenów

Włącz output w czasie rzeczywistym, ustawiając parametr stream na true w żądaniu. API zwraca strumień Server-Sent Events (SSE), pozwalając na wyświetlanie tokenów w miarę ich generowania.

Statystyki użycia tokenów są uwzględnione w końcowym kawałku strumienia. To projekt utrzymuje ładunek lekki podczas generowania, jednocześnie zapewniając dokładne dane rozliczeniowe dla Twojego kredytu prepay.

Strumieniowanie zmniejsza postrzeganą opóźnienie dla użytkowników końcowych. Możesz rozpocząć renderowanie odpowiedzi natychmiast, co jest kluczowe dla aplikacji wymagających pętli interaktywnej lub generowania treści długich.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Wywoływanie funkcji i tryb JSON

Zstrukturuj swoje wyjścia do konsumpcji programistycznej za pomocą trybu JSON lub wywoływania funkcji. Ustaw response_format na json_object, aby wymusić na modelu ścisły schemat JSON.

W przypadku korzystania z narzędzi zdefiniuj swoje funkcje w tablicy tools. Model zwróci strukturyzowane argumenty, które Twój kod może przeanalizować i wykonać. Ta funkcjonalność wspiera złożone przepływy pracy bez konieczności stosowania zewnętrznych bibliotek do parsowania.

Tryb JSON jest szczególnie przydatny przy ekstrakcji danych z tekstu nieustrukturyzowanego. Zapewnia spójne formatowanie, zmniejszając potrzebę czyszczenia post-przetwarzania w logice Twojej aplikacji.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Parametry: Temperatura, Top P i Stop

Kontroluj kreatywność i zakończenie swoich odpowiedzi za pomocą standardowych parametrów generowania. Dostosuj temperature dla zmienności i top_p dla próbkowania jądra. Użyj parametru stop, aby zdefiniować konkretne sekwencje sygnalizujące koniec wyjścia.

Niższa temperatura daje bardziej deterministyczne i skupione wyniki. Wyższe wartości wprowadzają więcej losowości, co może być korzystne przy burzy mózgów lub zadaniach kreatywnego opowiadania.

Zdefiniuj sekwencje stop, aby zapobiec nieskończonemu działaniu modelu. Jest to kluczowe dla utrzyby przewidywalnego zużycia tokenów i zapewnienia, że Twoja aplikacja otrzyma czystą, oddzieloną odpowiedź.

Obsługa błędów i limity

Monitoruj swoje zapytania pod kątem powszechnych kodów statusu HTTP, aby skutecznie zarządzać błędami. 401 oznacza nieprawidłowy lub wygasły klucz API, podczas gdy 402 sygnalizuje wyczerpanie kredytu z góry opłaconego.

Limit 429 jest wyzwalany, jeśli przekroczysz 300 żądań na minutę lub masz więcej niż 8 równoległych żądań na klucz. Zwiększ swoją przepustowość, dystrybuując obciążenie między wiele kluczy lub zmniejszając częstotliwość żądań.

Twój kontekst obsługuje 100 000 tokenów łącznie dla promptu i uzupełnienia. Bądź świadomy tego limitu, aby uniknąć obcinania. Błędy i odrzucenia nie zużywają tokenów, więc płacisz tylko za faktyczną generację.