Bắt đầu nhanh điểm cuối tương thích OpenAI

Base URL và Xác thực

Kết nối với API của chúng tôi bằng URL cơ sở tiêu chuẩn và khóa độc nhất của bạn. Mọi yêu cầu đều yêu cầu xác thực qua tiêu đề Authorization để đảm bảo truy cập an toàn vào số dư đã trả trước của bạn.

Cấu trúc điểm cuối của chúng tôi phản ánh tiêu chuẩn ngành, cho phép bạn hoán đổi cấu hình OpenAI hiện có của mình với ít ma sát nhất. Bạn không cần quản lý định tuyến phức tạp hoặc khóa nhà cung cấp; chúng tôi xử lý hạ tầng trong khi bạn tập trung vào logic ứng dụng.

Tạo khóa của bạn ngay lập tức qua bảng điều khiển. Mỗi tài khoản duy trì một khóa hoạt động duy nhất, khóa này sẽ thay thế khóa cũ khi được tạo lại, giữ cho quy trình bảo mật của bạn đơn giản và minh bạch.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

Endpoint Hoàn thành Trò chuyện

Gửi lời nhắc của bạn đến điểm cuối hoàn thành trò chuyện để nhận phản hồi văn bản trực tiếp từ mô hình không kiểm duyệt. Điểm cuối đơn lẻ này xử lý tất cả việc tạo văn bản mà không có chi phí của embedding hoặc xử lý đa phương tiện.

Mô hình chấp nhận một mảng tin nhắn tiêu chuẩn bao gồm các vai trò system, user và assistant. Nó được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp, khiến nó lý tưởng cho việc viết sáng tạo, nhập vai (roleplay) hoặc phân tích dữ liệu không giới hạn.

Giữ các tải trọng của bạn ngắn gọn. Kích thước tối đa của thân yêu cầu là 8 MB, điều này phù hợp thoải mái với hầu hết các lịch sử hội thoại tiêu chuẩn trước khi bạn đạt đến giới hạn ngữ cảnh.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming và Việc Sử Dụng Token

Bật đầu ra thời gian thực bằng cách đặt tham số stream thành true trong yêu cầu của bạn. API trả về luồng Server-Sent Events (SSE), cho phép bạn hiển thị token khi chúng được tạo.

Thống kê sử dụng token được bao gồm trong chunk cuối cùng của luồng. Thiết kế này giữ cho trọng tải nhẹ trong quá trình tạo trong khi đảm bảo bạn nhận được dữ liệu tính phí chính xác cho tín dụng trả trước của mình.

Streaming làm giảm độ trễ cảm nhận cho người dùng cuối. Bạn có thể bắt đầu hiển thị phản hồi ngay lập tức, điều này rất quan trọng đối với các ứng dụng yêu cầu vòng lặp tương tác hoặc tạo nội dung dạng dài.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Function Calling và chế độ JSON

Cấu trúc các đầu ra của bạn cho việc tiêu thụ lập trình bằng cách sử dụng chế độ JSON hoặc gọi hàm. Đặt response_format thành json_object để buộc mô hình vào một lược đồ JSON nghiêm ngặt.

Đối với việc sử dụng công cụ, hãy định nghĩa các hàm của bạn trong mảng tools. Mô hình sẽ trả về các đối số có cấu trúc mà mã của bạn có thể phân tích cú pháp và thực thi. Khả năng này hỗ trợ các quy trình làm việc phức tạp mà không cần thư viện phân tích cú pháp bên ngoài.

Chế độ JSON đặc biệt hữu ích khi trích xuất dữ liệu từ văn bản không có cấu trúc. Nó đảm bảo định dạng nhất quán, giảm nhu cầu làm sạch xử lý hậu kỳ trong logic ứng dụng của bạn.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Tham số: Nhiệt độ, Top P và Dừng

Kiểm soát tính sáng tạo và sự kết thúc trong các phản hồi của bạn bằng các tham số sinh văn bản tiêu chuẩn. Điều chỉnh temperature cho sự biến đổi và top_p cho việc lấy mẫu hạt nhân. Sử dụng tham số stop để xác định các chuỗi cụ thể báo hiệu sự kết thúc của đầu ra.

Đặt nhiệt độ thấp hơn sẽ tạo ra kết quả xác định và tập trung hơn. Các giá trị cao hơn đưa ra nhiều ngẫu nhiên hơn, điều này có thể hữu ích cho việc brainstorming hoặc các nhiệm vụ kể chuyện sáng tạo.

Định nghĩa các chuỗi dừng để ngăn mô hình chạy vô hạn. Điều này rất cần thiết để duy trì việc sử dụng token có thể dự đoán và đảm bảo ứng dụng của bạn nhận được phản hồi sạch, được phân tách rõ ràng.

Xử lý lỗi và Giới hạn

Theo dõi các mã trạng thái HTTP phổ biến để quản lý lỗi hiệu quả. Lỗi 401 cho biết khóa API không hợp lệ hoặc đã hết hạn, trong khi lỗi 402 báo hiệu rằng số dư tín dụng trả trước của bạn đã cạn kiệt.

Giới hạn tốc độ 429 được kích hoạt nếu bạn vượt quá 300 yêu cầu mỗi phút hoặc có nhiều hơn 8 yêu cầu đồng thời mỗi khóa. Tăng thông lượng của bạn bằng cách phân phối tải qua nhiều khóa hoặc giảm tần suất yêu cầu.

Cửa sổ ngữ cảnh của bạn hỗ trợ 100.000 token cho cả lệnh nhắc và kết quả hoàn thành kết hợp. Hãy lưu ý đến giới hạn này để tránh cắt bớt. Lỗi và từ chối không tiêu thụ token, vì vậy bạn chỉ trả tiền cho việc tạo nội dung thực tế.