中文 ▾
打开账户

推理 API 常见错误:故障排除指南

推理 API 常因标记限制配置错误、流式传输标头不正确或意外内容过滤器而失败。本指南解决了无审查模型部署和 OpenAI 兼容客户端最常见的集成错误。

关键要点

  1. 当违反特定的硬性限制(如未成年人内容)时,会发生拒绝,而不仅仅是通用过滤器。

  2. 上下文窗口同时计算提示词和补全 token,需要仔细管理长输入。

  3. 流式响应必须解析最后一个数据块以获取准确的 Token 用量统计。

  4. JSON 模式错误通常源于模式定义格式错误或缺少 response_format 标头。

为什么您的无审查模型可能仍然拒绝

该模型不拒绝合法的成人、虚构、安全研究或争议性话题。然而,关于涉及未成年人的性内容始终存在硬性内容限制。包含此特定违规内容的请求将立即被拒绝。此过滤机制与其他模型中发现的标准安全护栏不同。

检查您的输入,寻找性语境中未成年人的细微指示。即使模型是无审查的,这个特定边界仍然有效。其他所有内容类型都会通过而不会被拒绝。这确保了法律合规性,同时为其他用例保持自由。

处理令牌限制和上下文窗口

上下文窗口允许 100,000 个令牌用于提示和补全合计。您必须跟踪输入令牌,以确保它们与输出结合时不超过此限制。每次请求的最大输出为 16,000 个令牌。如果您未设置 max_tokens,默认值为 2,048 个令牌。

仔细计算您的预算。长文档会消耗大量上下文。如果超过限制,API 将返回错误。将大型输入拆分为较小的块以保持性能。这可以防止提示中的关键信息被截断。

调试流式响应

通过 SSE 流式传输交付 Token。你必须解析最后一个分块以检索准确的 Token 用量统计。Token 用量数据仅出现在流的最后一个分块中。较早的分块仅包含内容增量。

实现一个计数器来跟踪处理的令牌总数。从最终响应中汇总输入和输出令牌。这确保了计费和跟踪的准确性。不要依赖中间块的计数。它们不能反映请求的总成本。

JSON 模式错误与验证

JSON 模式强制执行严格的 schema 验证。您必须将 response_format 参数设置为 json_object。模型尝试输出有效的 JSON。如果 schema 格式错误或输出无法解析,则会发生错误。

在发送请求之前验证您的 JSON 架构。确保定义了所有必填字段。使用 linter 检查您的架构语法。这减少了验证错误并确保输出一致。首先使用小输入进行测试以验证格式。

了解工具选择与函数调用

函数调用允许模型调用工具。你可以指定 tool_choice 来控制行为。模型返回用于工具执行的结构化数据。这实现了复杂的工作流和外部数据集成。

在请求中清晰地定义您的工具。为每个工具提供描述。模型会使用这些描述来决定何时调用它们。使用各种输入测试工具定义。确保输出符合您的预期格式。

速率限制与并发请求

每个密钥每分钟限制为 300 次请求。您可以同时运行 8 个并发请求。请求体大小限制为 8 MB。超出这些限制将导致 429 错误。

对重试实现指数退避。监控您的使用情况以保持在限制范围内。如果需要更高的吞吐量,请使用多个密钥。这可确保在高峰使用期间平稳运行。跟踪您的请求量以避免意外中断。

定价惊喜:输入Token与输出Token

定价为每 100 万输入令牌 $0.15,每 100 万输出令牌 $0.50。输出令牌更昂贵。长回复会显著增加成本。监控您的输出长度以控制费用。

将 max_tokens 设置为限制输出长度。这可以防止因长回复产生的意外费用。定期跟踪您的令牌使用情况。使用最后一个数据块中的令牌使用数据来准确计算成本。

加密货币支付与信用额度过期

余额仅支持通过加密货币充值。我们接受 TRC20 网络上的 USDT 或 Base 网络上的 USDC。最低充值额为 $20,最高为 $500。余额永久有效。如出现重复扣款等错误,可通过支持页面处理。

奖金余额适用于较大的充值。您将获得 +5% 的 $50 奖金,+10% 的 $100 奖金和 +15% 的 $200 奖金。错误和拒绝免费。这确保您只为实际使用付费。

常见问题

什么是推理API?

推理 API 允许您将文本发送给大语言模型并接收文本返回。它标准化了端点,以便您可以使用标准 SDK。这简化了与应用程序的集成。

你们支持哪些支付方式?

仅支持加密货币:TRC20 上的 USDT 或 Base 上的 USDC,任何整金额从 $20 到 $500。从 $50 起适用奖励余额。

API 是否支持流式传输?

是的,它支持通过服务器发送事件(SSE)进行流式传输。您会实时接收令牌。最后一个数据块包含总令牌使用量。

如何使用加密货币支付?

您可以使用 TRC20 网络的 USDT 或 Base 网络的 USDC 进行充值。充值金额需在 $20 至 $500 之间。系统将自动添加奖励余额。

检索您的 API 密钥

注册,获取您的密钥,并更新基础 URL。这就是全部配置。