Быстрый старт по конечной точке, совместимой с OpenAI

Базовый URL и аутентификация

Подключитесь к нашему API, используя стандартизированный базовый URL и ваш уникальный ключ. Каждый запрос требует аутентификации через заголовок Authorization для обеспечения безопасного доступа к вашему предоплаченному кредиту.

Структура нашей точки входа зеркально отражает отраслевой стандарт, позволяя заменить вашу существующую конфигурацию OpenAI с минимальными усилиями. Вам не нужно управлять сложной маршрутизацией или привязкой к вендору; мы занимаемся инфраструктурой, пока вы сосредотачиваетесь на логике приложения.

Сгенерируйте ключ мгновенно через панель управления. У каждого аккаунта есть один активный ключ, который заменяет предыдущий при повторной генерации, сохраняя простоту и прозрачность вашей системы безопасности.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Эндпоинт Chat Completions

Передайте свой промпт в конечную точку chat completions для получения прямого текстового ответа от uncensored-модели. Эта единственная конечная точка обрабатывает всю генерацию текста без накладных расходов на эмбеддинги или мультимодальную обработку.

Модель принимает стандартный массив сообщений, содержащий роли system, user и assistant. Она настроена на ответы без отказов по контенту для законного использования взрослыми, что делает её идеальной для творческого письма, ролевых игр или неограниченного анализа данных.

Делайте полезную нагрузку компактной. Максимальный размер тела запроса составляет 8 МБ, что с запасом подходит для большинства стандартных историй диалогов до достижения лимита контекста.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Потоковая передача и использование токенов

Включите вывод в реальном времени, установив параметр stream в true в вашем запросе. API возвращает поток Server-Sent Events (SSE), позволяя отображать токены по мере их генерации.

Статистика использования токенов включена в финальный чанк потока. Этот дизайн делает полезную нагрузку легкой во время генерации, обеспечивая при этом точные данные для биллинга вашего предоплаченного кредита.

Потоковая передача снижает воспринимаемую задержку для конечных пользователей. Вы можете начать рендеринг ответа немедленно, что критически важно для приложений, требующих интерактивных циклов обратной связи или генерации длинных текстов.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling и режим JSON

Структурируйте ваши выводы для программной обработки с помощью режима JSON или вызова функций. Установите response_format в json_object, чтобы принудительно задать модели строгую JSON-схему.

Для использования инструментов определите свои функции в массиве tools. Модель вернет структурированные аргументы, которые ваш код может разобрать и выполнить. Эта возможность поддерживает сложные рабочие процессы без необходимости внешних библиотек для парсинга.

Режим JSON особенно полезен при извлечении данных из неструктурированного текста. Он обеспечивает согласованное форматирование, снижая необходимость в очистке постобработки в логике вашего приложения.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Параметры: Temperature, Top P и Stop

Управляйте креативностью и завершением ваших ответов с помощью стандартных параметров генерации. Настройте temperature для вариативности и top_p для выборки по ядру. Используйте параметр stop, чтобы определить определённые последовательности, сигнализирующие об окончании вывода.

Установка более низкой температуры дает более детерминированные и сфокусированные результаты. Более высокие значения вносят больше случайности, что может быть полезно для мозгового штурма или творческого повествования.

Определите стоп-последовательности, чтобы предотвратить бесконечную работу модели. Это необходимо для контроля предсказуемого использования токенов и обеспечения получения вашим приложением чистого, разделённого ответа.

Обработка ошибок и лимиты

Следите за запросами на наличие распространенных кодов состояния HTTP, чтобы эффективно управлять ошибками. 401 указывает на недействительный или истекший API-ключ, а 402 сигнализирует о том, что ваш предоплаченный кредит исчерпан.

Лимит 429 срабатывает, если вы превышаете 300 запросов в минуту или имеете более 8 одновременных запросов на ключ. Увеличьте пропускную способность, распределяя нагрузку между несколькими ключами или снижая частоту запросов.

Ваше контекстное окно поддерживает 100 000 токенов для промпта и завершения вместе. Будьте внимательны к этому лимиту, чтобы избежать обрезки. Ошибки и отказы не потребляют токены, поэтому вы платите только за фактическую генерацию.