Поширені помилки Інференс API: Посібник із усунення неполадок
Інференційний API часто не працює через неправильно налаштовані обмеження токенів, невірні заголовки потокової передачі або несподівані фільтри вмісту. Цей посібник усуває найпоширеніші помилки інтеграції для розгортання моделей без цензури та клієнтів, сумісних із OpenAI.
Ключові висновки
Відмови відбуваються, коли порушуються конкретні жорсткі обмеження, такі як контент з неповнолітніми, а не просто загальні фільтри.
Контекстні вікна враховують токени запиту та завершення разом, що вимагає ретельного керування довгими вхідними даними.
Потокові відповіді повинні аналізувати останній блок, щоб отримати точну статистику використання токенів.
Помилки режиму JSON зазвичай виникають через невалідні визначення схем або відсутність заголовків response_format.
Чому ваша модель без цензури все ще може відмовляти
Модель не відмовляється від законних дорослих, художніх, тем дослідження безпеки або суперечливих тем. Однак завжди діє суворе обмеження щодо контенту, пов’язаного з сексуальним контентом із залученням неповнолітніх. Запити, що містять це конкретне порушення, відхиляються миттєво. Цей фільтр відрізняється від стандартних засобів захисту, які є в інших моделях.
Перевірте вхідні дані на наявність тонких вказівок на малолітніх у сексуальних контекстах. Навіть якщо модель uncensored, ця конкретна межа залишається вимогливою. Усі інші типи контенту проходять без відмови. Це забезпечує юридичну відповідність, зберігаючи свободу для інших випадків використання.
Обробка лімітів токенів і вікон контексту
Вікно контексту дозволяє 100,000 токенів для запиту та завершення сумарно. Ви повинні відстежувати вхідні токени, щоб переконатися, що вони не перевищують цей ліміт у поєднанні з вихідними. Максимальний вихід за запит становить 16,000 токенів. Якщо ви не встановлюєте max_tokens, значення за замовчуванням становить 2,048 токенів.
Ретельно розрахуйте свій бюджет. Довгі документи споживають значний контекст. Якщо ви перевищите ліміт, API поверне помилку. Розділіть великі вхідні дані на менші фрагменти, щоб підтримувати продуктивність. Це запобігає обрізанню критичної інформації у вашому запиті.
Налагодження потокових відповідей
Стримінг через SSE доставляє токени в реальному часі. Ви повинні проаналізувати останній фрагмент, щоб отримати точну статистику використання токенів. Дані про використання токенів з'являються лише в останньому фрагменті потоку. Попередні фрагменти містять лише дельту вмісту.
Реалізуйте лічильник для відстеження загальної кількості оброблених токенів. Підсумуйте токени вводу та виводу з остаточної відповіді. Це забезпечує точний билінг та відстеження використання. Не покладайтеся на часткові підрахунки з проміжних фрагментів. Вони не відображають загальну вартість запиту.
Помилки та валідація режиму JSON
режим JSON примушує до суворої валідації схеми. Ви повинні встановити параметр response_format у json_object. Модель намагається вивести валідний JSON. Помилки виникають, якщо схема невалідна або вивід неможливо розпарсити.
Перевіряйте свою JSON-схему перед надсиланням запитів. Переконайтеся, що всі обов'язкові поля визначені. Використовуйте линтер для перевірки синтаксису вашої схеми. Це зменшує помилки валідації та забезпечує узгодженість виводу. Спочатку протестуйте з невеликими вхідними даними, щоб перевірити формат.
Розуміння вибору інструментів та виклику функцій
Виклик функцій дозволяє моделі викликати інструменти. Ви можете вказати tool_choice для керування поведінкою. Модель повертає структуровані дані для виконання інструментів. Це дозволяє реалізувати складні робочі процеси та інтеграцію зовнішніх даних.
Чітко визначте свої інструменти в запиті. Надайте описи для кожного інструмента. Модель використовує ці описи, щоб вирішити, коли їх викликати. Протестуйте визначення інструментів з різними вхідними даними. Переконайтеться, що вихідні дані відповідають очікуваному формату.
Ліміти частоти та одночасні запити
Кожен ключ обмежений 300 запитами на хвилину. Ви можете виконувати до 8 одночасних запитів одночасно. Розмір тіла запиту обмежено 8 МБ. Перевищення цих лімітів призводить до помилки 429.
Реалізуйте експоненційне сповільнення для повторних спроб. Слідкуйте за використанням, щоб залишатися в межах лімітів. Використовуйте кілька ключів, якщо вам потрібна більша пропускна здатність. Це забезпечує стабільну роботу під час пікового навантаження. Відстежуйте обсяг запитів, щоб уникнути несподіваних переривань.
Цінові сюрпризи: Вхідні проти вихідних токенів
Ціна становить $0.15 за 1 млн вхідних токенів та $0.50 за 1 млн вихідних токенів. Вихідні токени дорожчі. Довгі відповіді значно збільшують витрати. Слідкуйте за довжиною виходу, щоб контролювати витрати.
Встановіть max_tokens для обмеження довжини виводу. Це запобігає несподіваним платежам за довгі відповіді. Регулярно відстежуйте використання токенів. Використовуйте дані про використання токенів з останнього фрагмента для точного розрахунку вартості.
Оплата криптовалютою та термін дії кредитів
Кредит поповнюється лише криптовалютою. Ми приймаємо USDT у мережі TRC20 або USDC у мережі Base. Мінімальна сума поповнення — $20, максимальна — $500. Кредит не має строку дії. Помилки, такі як подвійне списання, виправляються через сторінку Підтримки.
Бонусні кредити застосовуються до більших поповнень. Ви отримуєте бонус +5% від $50, +10% від $100 та +15% від $200. Помилки та відмови безкоштовні. Це гарантує, що ви платите лише за фактичне використання.
Найпоширеніші запитання
Що таке API інференції?
Інференційний API дозволяє надсилати текст великій мовній моделі і отримувати текст у відповідь. Він стандаризує кінцеву точку, щоб ви могли використовувати стандартні SDK. Це спрощує інтеграцію з вашими додатками.
Які способи оплати ви приймаєте?
Тільки крипто: USDT у мережі TRC20 або USDC на Base, будь-яка ціла сума від $20 до $500. Бонусний кредит надається від $50.
Чи підтримує API потокову передачу?
Так, підтримується потокова передача через Server-Sent Events. Ви отримуєте токени в реальному часі. Останній чанк містить загальне використання токенів.
Як оплатити криптовалютою?
Ви можете поповнити рахунок за допомогою USDT у мережі TRC20 або USDC у мережі Base. Сума має бути в межах від $20 до $500. Бонусний кредит додається автоматично.
Отримайте свій API-ключ
Зареєструйтеся, отримайте свій ключ і оновіть базовий URL. Це вся конфігурація.
