OpenAI 相容端點快速入門

基礎 URL 與驗證

使用標準化基礎 URL 與您的獨一無二金鑰連線至我們的 API。每個請求都需要透過 Authorization 標頭進行驗證，以確保安全存取您的預付信用額度。

我們的端點結構與行業標準一致，允許您以最小的摩擦將現有的 OpenAI 配置進行替換。您無需管理複雜的路由或廠商鎖定；我們處理基礎設施，讓您專注於應用程式邏輯。

透過儀表板即時產生您的金鑰。每個帳戶僅維持一個有效金鑰，重新產生時會取代舊金鑰，讓您的安全性設定保持簡潔且透明。

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

聊天完成端點

向聊天完成端點發送您的提示詞，以從無審查模型接收直接的文字回應。此單一端點處理所有文字生成，無需嵌入或多模態處理的額外開銷。

模型接受包含 system、user 和 assistant 角色的標準訊息陣列。它針對合法成人用途進行微調，不會拒絕這些內容，因此非常適合創意寫作、角色扮演或無限制的數據分析。

保持您的載荷精簡。最大請求體積為 8 MB，在達到上下文限制之前，足以容納大多數標準對話歷史。

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

串流與 token 使用量

透過在請求中將 stream 參數設為 true 來啟用即時輸出。API 會回傳伺服器發送事件（SSE）串流，允許您在生成 token 時顯示它們。

Token 用量統計數據包含在串流的最後一個區塊中。此設計在生成過程中保持負載輕量，同時確保您獲得預付信用的準確計費數據。

串流可降低終端使用者的感知延遲。您可以立即開始渲染回應，這對於需要互動回饋迴圈或長篇內容生成的應用程式至關重要。

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

函式呼叫與 JSON 模式

為程序化消費構造您的輸出，使用 JSON 模式或函數調用。將 response_format 設置為 json_object 以強制模型進入嚴格的 JSON 模式。

對於工具使用，請在 tools 陣列中定義您的函式。模型將回傳結構化參數，您的程式碼可加以解析並執行。此功能支援複雜工作流程，無需外部解析程式庫。

JSON 模式在從非結構化文字中擷取資料時特別有用。它能確保一致的格式，減少應用程式邏輯中後置處理清理的需求。

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

參數：Temperature、Top P 和 Stop

使用標準生成參數控制回應的創意性與終止條件。調整 temperature 以改變變異性，或使用 top_p 進行 nucleus sampling。使用 stop 參數定義特定的序列，以作為輸出的結束信號。

設定較低的 temperature 會產生更具決定性和專注的結果。較高的值會引入更多隨機性，這對於腦力激盪或創意故事創作任務很有幫助。

定義停止序列以防止模型無限運行。這對於維持可預測的 token 用量以及確保應用程式收到清晰、有明確分隔的回應至關重要。

錯誤處理與限制

監控您的請求以識別常見的 HTTP 狀態碼，從而有效管理錯誤。401 表示 API 金鑰無效或已過期，而 402 表示您的預付餘額已耗盡。

如果您每分鐘超過 300 次請求或每個金鑰有超過 8 個並行請求，將觸發 429 速率限制。透過跨多個金鑰分攤負載或降低請求頻率來提高吞吐量。

您的上下文視窗支援 100,000 個 token（提示與補完合計）。請留意此限制以避免截斷。錯誤與拒絕不消耗 token，因此您只需為實際生成付費。