推論APIのよくある間違い：トラブルシューティングガイド
推論APIは、トークン制限の設定ミス、ストリーミングヘッダーの誤り、または予期せぬコンテンツフィルタのために失敗することがよくあります。このガイドでは、無制限モデルのデプロイメントとOpenAI互換クライアントの最も一般的な統合エラーを解決します。
主なポイント
拒否は、一般的なフィルタではなく、未成年者コンテンツなどの特定のハード制限が違反された場合に発生します。
コンテキストウィンドウはプロンプトトークンと補完トークンを合計してカウントするため、長い入力の注意深い管理が必要です。
ストリーミングレスポンスでは、正確なトークン使用統計を取得するために最終チャンクを解析する必要があります。
JSONモードのエラーは通常、スキーマ定義の誤りやresponse_formatヘッダーの欠如に起因します。
なぜアンセンサードモデルが拒否するのか
このモデルは、法的な成人向け、フィクション、セキュリティリサーチ、または論争的なトピックを拒否しません。ただし、未成年者との性的コンテンツに関する絶対的なコンテンツ制限が常に適用されます。この特定の違反を含むリクエストは直ちに拒否されます。このフィルタは、他のモデルに見られる標準的な安全性ガードレールとは異なります。
性的な文脈における未成年者の微妙な兆候について入力を確認してください。モデルが無制限であっても、この特定の境界は依然として適用されます。その他のコンテンツタイプは拒否されずに通過します。これにより、他のユースケースでの自由度を維持しながら法的コンプライアンスが確保されます。
トークン制限とコンテキストウィンドウの処理
コンテキストウィンドウは、プロンプトと補完の合計で100,000トークンを許可します。出力トークンが制限を超えないよう、入力トークンを追跡する必要があります。リクエストあたりの最大出力は16,000トークンです。max_tokensを設定しない場合、デフォルトは2,048トークンです。
慎重に予算を計算してください。長いドキュメントは大きなコンテキストを消費します。制限を超えるとAPIはエラーを返します。パフォーマンスを維持するために大きな入力を小さなチャンクに分割してください。これにより、プロンプト内の重要な情報が切り捨てられるのを防ぎます。
ストリーミングレスポンスのデバッグ
SSEによるストリーミングはリアルタイムでトークンを配信します。正確なトークン使用量統計を取得するには、最後のチャンクを解析する必要があります。トークン使用量データはストリームの最後のチャンクにのみ表示されます。それ以前のチャンクにはコンテンツの差分のみが含まれます。
処理された合計トークンを追跡するためのカウンターを実装します。最終レスポンスから入力トークンと出力トークンを合計します。これにより、正確な請求と使用状況の追跡が保証されます。中間チャンクからの部分的なカウントに依存しないでください。それらはリクエストの合計コストを反映しません。
JSONモードのエラーと検証
JSONモードは厳格なスキーマ検証を強制します。response_formatパラメータをjson_objectに設定する必要があります。モデルは有効なJSONの出力を試みます。スキーマが壊れている場合、または出力が解析できない場合にエラーが発生します。
リクエストを送信する前にJSONスキーマを検証します。すべての必須フィールドが定義されていることを確認します。リンターを使用してスキーマ構文を確認します。これにより検証エラーが減少し、一貫した出力が保証されます。フォーマットを確認するためにまず小さな入力でテストします。
ツール選択と関数呼び出しの理解
関数呼び出しにより、モデルはツールを呼び出すことができます。tool_choiceを指定して動作を制御できます。モデルはツール実行のための構造化データを返します。これにより、複雑なワークフローと外部データ統合が可能になります。
リクエストでツールを明確に定義してください。各ツールの説明を提供してください。モデルはこれらの説明を使用して、いつツールを呼び出すかを判断します。さまざまな入力でツール定義をテストしてください。出力が期待する形式と一致していることを確認してください。
レート制限と同時リクエスト
各キーは1分あたり300リクエストに制限されます。同時に最大8つのリクエストを実行できます。リクエストボディのサイズは8 MBに制限されます。これらの制限を超えると、429エラーが発生します。
リトライに対して指数関数的バックオフを実装します。制限内に収まるよう使用状況を監視してください。より高いスループットが必要な場合は複数のキーを使用してください。これにより、ピーク時のスムーズな運用が保証されます。リクエスト数を追跡して、予期しない中断を避けてください。
価格の驚き：入力トークン対出力トークン
料金は入力トークン1Mあたり$0.15、出力トークン1Mあたり$0.50です。出力トークンはより高価です。長い応答はコストを大幅に増加させます。支出を制御するために出力長を監視してください。
max_tokens を設定して出力長を制限します。これにより、長い応答による予期せぬ課金を防げます。トークン使用量を定期的に確認してください。最終チャンクからのトークン使用データを使用して、コストを正確に計算してください。
暗号通貨決済とクレジットの有効期限
クレジットは暗号通貨のみでチャージされます。TRC20上のUSDTまたはBase上のUSDCを受け付けます。最小チャージ額は$20、最大は$500です。クレジットの有効期限はありません。二重請求などの誤りはサポートページを通じて修正されます。
ボーナスクレジットは大きなチャージに適用されます。$50で+5%、$100で+10%、$200で+15%のボーナスが得られます。エラーと拒否は無料です。これにより、実際の使用分のみに対して課金されることが保証されます。
よくある質問
推論APIとは何ですか？
推論APIを使用すると、テキストを大規模言語モデルに送信し、テキストを戻すことができます。エンドポイントを正規化するため、標準SDKを使用できます。これにより、アプリケーションとの統合が簡素化されます。
どの支払い方法を受け付けていますか？
暗号通貨のみ：TRC20上のUSDTまたはBase上のUSDC。$20〜$500の任意の整数額。$50以上でボーナスクレジットが適用されます。
APIはストリーミングをサポートしていますか？
はい、Server-Sent Eventsを介したストリーミングに対応しています。トークンをリアルタイムで受け取ります。最終チャンクには合計トークン使用量が含まれます。
暗号通貨で支払うには？
TRC20上のUSDTまたはBase上のUSDCでチャージできます。金額は$20〜$500の間でなければなりません。ボーナスクレジットは自動的に追加されます。
APIキーを取得
登録して、キーを取得し、ベースURLを更新するだけです。これが完全な設定です。
