推理 API 常見錯誤:故障排除指南
推理 API 常因 token 限制配置錯誤、串流標頭不正確或意外內容過濾器而失敗。本指南解決無審查模型部署和 OpenAI-compatible 客戶端最常见的整合錯誤。
主要結論
當違反特定的硬性限制(如未成年人內容)時會發生拒絕,而不僅僅是一般過濾器。
上下文窗口同時計算提示詞與補全 token,需要仔細管理長輸入。
串流回應必須解析最後一個區塊,才能取得準確的 Token 用量統計數據。
JSON 模式錯誤通常源於結構描述定義錯誤或缺少 response_format 標頭。
為何您的無審查模型仍可能拒絕
該模型不會拒絕合法的成人、虛構、安全研究或爭議性話題。然而,關於涉及未成年人的性內容,始終適用硬性內容限制。包含此特定違規的請求會立即被拒絕。此篩選機制與其他模型中標準的安全防護機制不同。
檢查您的輸入內容,尋找性情境中未成年角色的微妙指標。即使模型為無限制類型,此特定界限仍會執行。其他所有內容類型均可無阻礙通過。這在確保法律合規的同時,為其他用例保留了自由。
處理 Token 限制與上下文視窗
上下文視窗允許提示和補全合計 100,000 個 token。您必須追蹤輸入 token,以確保它們與輸出合計時不超過此限制。每次請求的最大輸出為 16,000 個 token。如果您未設定 max_tokens,預設值為 2,048 個 token。
仔細計算您的預算。長文件會消耗大量上下文。如果您超過限制,API 會返回錯誤。將大型輸入拆分為較小的區塊以維持效能。這可防止提示中的關鍵資訊被截斷。
除錯串流回應
透過 SSE 串流即時交付 Token。您必須解析最後一個區塊以獲取準確的 Token 用量統計數據。Token 用量數據僅出現在串流的最後一個區塊中。較早的區塊僅包含內容增量。
實作計數器以追蹤處理的總 token 數。將最終回應中的輸入和輸出 token 相加。這可確保計費和用量追蹤的準確性。不要依賴中間區塊的計數。它們無法反映請求的總成本。
JSON 模式錯誤與驗證
JSON 模式強制執行嚴格的 schema 驗證。您必須將 response_format 參數設為 json_object。模型會嘗試輸出有效的 JSON。如果 schema 格式錯誤或輸出無法解析,則會發生錯誤。
在發送請求之前驗證您的 JSON 結構描述。確保所有必要欄位都已定義。使用 Linter 檢查您的結構描述語法。這有助於減少驗證錯誤並確保輸出一致。先使用小型輸入進行測試以驗證格式。
了解工具選擇與函式呼叫
函式呼叫允許模型呼叫工具。您可以指定 tool_choice 來控制行為。模型會為工具執行返回結構化資料。這能啟用複雜的工作流程和外部資料整合。
在請求中明確定義您的工具。為每個工具提供描述。模型會根據這些描述來決定何時呼叫它們。使用各種輸入測試工具定義。確保輸出符合您預期的格式。
速率限制與併發請求
每個金鑰每分鐘限制為 300 次請求。您可以同時進行最多 8 個請求。請求主體大小上限為 8 MB。超過這些限制將導致 429 錯誤。
為重試實作指數退避。監控您的使用情況以保持在限制範圍內。若需要更高的吞吐量,請使用多個金鑰。這能確保在高峰使用期間順暢運作。追蹤您的請求量以避免意外中斷。
定價驚喜:輸入 Token 與輸出 Token
定價為每 1M 輸入 token 0.15 美元,每 1M 輸出 token 0.50 美元。輸出 token 較貴。長回應會顯著增加成本。請監控輸出長度以控制開支。
將 max_tokens 設為以限制輸出長度。這可防止因長回應而產生意外費用。定期追蹤您的 token 使用情況。使用最後一個 chunk 的 token 使用數據來準確計算成本。
加密貨幣支付與信用額度過期
餘額僅接受加密貨幣充值。我們接受 TRC20 上的 USDT 或 Base 上的 USDC。最低充值金額為 $20,最高為 $500。餘額永不過期。如發生重複扣款等錯誤,可透過支援頁面處理。
贈金適用於較大金額的充值。您將獲得 +5% 的贈金($50 起)、+10%($100 起)和 +15%($200 起)。錯誤和拒絕請求均免費。這確保您只需為實際使用付費。
常見問題
什麼是推論 API?
推理 API 允許您將文本發送給大型語言模型並接收文本返回。它標準化端點,使您可以使用標準 SDK。這簡化了與您應用程式的整合。
您接受哪些付款方式?
僅限加密貨幣:TRC20 上的 USDT 或 Base 上的 USDC,任何整數金額從 $20 到 $500。從 $50 起享有額外餘額獎勵。
API 是否支援串流?
是的,它支援透過 Server-Sent Events 進行串流。您會即時接收 token。最後一個區塊包含總 token 使用量。
我如何透過加密貨幣付費?
您可以使用 TRC20 網路上的 USDT 或 Base 網路上的 USDC 進行儲值。金額必須介於 $20 至 $500 之間。贈送信用額度將自動加入。
檢索您的 API 金鑰
註冊、取得您的金鑰,並更新基礎 URL。這就是完整的設定。