Швидкий старт з OpenAI-сумісною кінцевою точкою

Базова URL-адреса та аутентифікація

Підключіться до нашого API, використовуючи стандартизований базовий URL та ваш унікальний ключ. Кожен запит вимагає автентифікації через заголовок Authorization для забезпечення безпечного доступу до вашого передоплаченого кредиту.

Структура нашої точки доступу відображає галузевий стандарт, що дозволяє замінити вашу існуючу конфігурацію OpenAI з мінімальними труднощами. Вам не потрібно керувати складною маршрутизацією або прив’язкою до постачальника; ми беремо на себе інфраструктуру, тоді як ви зосереджуєтесь на логіці додатка.

Згенеруйте свій ключ миттєво через панель керування. Кожен акаунт має один активний ключ, який замінює попередній після перегенерації, що робить вашу політику безпеки простою та прозорою.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Ендпоінт Chat Completions

Надішліть свій промпт до кінцевої точки chat completion для отримання прямої текстової відповіді від моделі uncensored. Ця єдина кінцева точка обробляє всю генерацію тексту без накладних витрат вбудовувань або мультимодальної обробки.

Модель приймає стандартний масив повідомлень, що містить ролі system, user та assistant. Вона налаштована на відповіді без відмов у вмісті для законного використання дорослими, що робить її ідеальною для творчого письма, рольових ігор або необмеженого аналізу даних.

Зберігайте ваші корисні навантаження лаконічними. Максимальний розмір тіла запиту становить 8 МБ, що комфортно підходить для більшості стандартних історій розмов до досягнення ліміту контексту.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Потокова передача та використання токенів

Увімкнути вивід у реальному часі, встановивши параметр stream у true у вашому запиті. API повертає потік подій, надісланих сервером (SSE), дозволяючи відображати токени по мірі їх генерації.

Статистика використання токенів включена в кінцевий чанк потоку. Така архітектура зберігає корисне навантаження легким під час генерації, забезпечуючи при цьому точні дані для розрахунків вашого передоплаченого кредиту.

Потокова передача зменшує сприйнятну затримку для кінцевих користувачів. Ви можете почати відображати відповідь миттєво, що критично важливо для додатків, які вимагають інтерактивних циклів зворотного зв’язку або генерації довгого контенту.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling та режим JSON

Структуруйте вивід для програмного споживання за допомогою режиму JSON або виклику функцій. Встановіть response_format у json_object, щоб змусити модель дотримуватися суворої схеми JSON.

Для використання інструментів визначте свої функції в масиві tools. Модель поверне структуровані аргументи, які ваш код може проаналізувати та виконати. Ця можливість підтримує складні робочі процеси без необхідності зовнішніх бібліотек для парсингу.

Режим JSON особливо корисний при вилученні даних з неструктурованого тексту. Він забезпечує узгоджене форматування, зменшуючи потребу в очищенні постобробки в логіці вашої програми.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Параметри: Temperature, Top P та Stop

Керуйте креативністю та завершенням ваших відповідей за допомогою стандартних параметрів генерації. Налаштуйте temperature для варіативності та top_p для вибірки nucleus. Використовуйте параметр stop, щоб визначити конкретні послідовності, які сигналізують про завершення виводу.

Встановлення нижчої температури дає більш детерміновані та зосереджені результати. Вищі значення додають більше випадковості, що може бути корисним для мозкового штурму або творчих завдань із оповіданням.

Визначте послідовності зупинки, щоб запобігти нескінченному виконанню моделі. Це важливо для підтримки передбачуваного використання токенів та забезпечення того, щоб ваша програма отримувала чистий, розмежований відповідь.

Обробка помилок та обмеження

Моніторте свої запити на наявність поширених кодів стану HTTP, щоб ефективно керувати помилками. 401 вказує на недійсний або прострочений API-ключ, а 402 сигналізує про вичерпання вашого передоплаченого кредиту.

Ліміт 429 спрацьовує, якщо ви перевищуєте 300 запитів за хвилину або маєте більше 8 одночасних запитів на ключ. Збільште свою пропускну здатність, розподіляючи навантаження між кількома ключами або зменшуючи частоту запитів.

Ваше контекстне вікно підтримує 100 000 токенів для запиту та відповіді разом. Звертайте увагу на цей ліміт, щоб уникнути обрізання. Помилки та відмови не споживають токени, тому ви платите лише за фактичну генерацію.