OpenAI 兼容端点快速入门

基础 URL 和认证

使用标准化的基础 URL 和您的唯一密钥连接到我们的 API。每个请求都需要通过 Authorization 头进行身份验证，以确保安全访问您的预付费额度。

我们的端点结构模仿行业标准，允许您以最小的摩擦将现有的 OpenAI 配置进行替换。您无需管理复杂的路由或供应商锁定；我们处理基础设施，而您专注于应用程序逻辑。

通过仪表板即时生成密钥。每个账户仅保留一个活跃密钥，重新生成时将替换旧密钥，使您的安全策略保持简单且透明。

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

聊天完成端点

向聊天补全端点发送提示，以从无审查模型获取直接文本响应。此单一端点处理所有文本生成，无需嵌入或多模态处理的开销。

模型接受包含 system、user 和 assistant 角色的标准消息数组。它针对合法成人用途不进行内容拒绝进行了调优，非常适合创意写作、角色扮演或无限制的数据分析。

保持您的负载简洁。最大请求体大小为 8 MB，在达到上下文限制之前，这足以容纳大多数标准对话历史。

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

流式传输与 token 使用情况

通过在请求中将 stream 参数设置为 true 启用实时输出。API 返回服务器发送事件 (SSE) 流，允许你显示生成的 token。

Token 用量统计信息包含在流的最后一个数据块中。此设计在生成过程中保持有效负载轻量，同时确保您获得用于预付费信用的准确计费数据。

流式传输降低了最终用户的感知延迟。您可以立即开始渲染响应，这对于需要交互式反馈循环或长篇内容生成的应用程序至关重要。

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

函数调用与 JSON 模式

为了便于程序化使用，请使用 JSON 模式或函数调用构建您的输出。将 response_format 设置为 json_object 以强制模型进入严格的 JSON 模式。

对于工具使用，请在 tools 数组中定义您的函数。模型将返回结构化参数，您的代码可以解析并执行这些参数。此功能支持复杂的工作流，无需外部解析库。

JSON 模式在从不结构化文本中提取数据时特别有用。它确保格式一致，减少了应用程序逻辑中后处理清理的需求。

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

参数：Temperature、Top P 和 Stop

使用标准生成参数控制输出的创造性和终止。调整 temperature 以获取可变性，调整 top_p 进行核采样。使用 stop 参数定义表示输出结束的具体序列。

设置较低的温度会产生更确定和集中的结果。较高的值会引入更多的随机性，这对于头脑风暴或创意故事讲述任务可能有益。

定义停止序列以防止模型无限运行。这对于保持可预测的令牌使用量并确保应用程序收到干净、有界定的响应至关重要。

错误处理和限制

监控您的请求以查找常见的 HTTP 状态码，从而有效管理错误。401 表示 API 密钥无效或已过期，而 402 表示您的预付费余额已耗尽。

如果您每分钟超过 300 次请求或每个密钥有超过 8 个并发请求，将触发 429 速率限制。通过跨多个密钥分配负载或降低请求频率来提高吞吐量。

您的上下文窗口支持 100,000 个令牌（提示和完成总和）。注意此限制以避免截断。错误和拒绝不消耗令牌，因此您只为实际生成付费。