OpenAI 호환 엔드포인트 퀵스타트

Base URL 및 인증

표준화된 베이스 URL과 고유한 키를 사용하여 API에 연결하세요. 모든 요청은 사전 지급된 크레딧에 대한 안전한 접근을 보장하기 위해 Authorization 헤더를 통해 인증이 필요합니다.

당사 엔드포인트 구조는 업계 표준을 반영하므로 기존 OpenAI 구성을 최소한의 마찰로 교체할 수 있습니다. 복잡한 라우팅이나 벤더 종속성을 관리할 필요가 없습니다. 당사는 인프라를 처리하고 귀하는 애플리케이션 로직에 집중합니다.

대시보드를 통해 키를 즉시 생성하세요. 각 계정에는 하나의 활성 키가 유지되며, 재생성 시 이전 키가 대체되어 보안 체계를 단순하고 투명하게 유지합니다.

Copycurl https://api.aiinferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the capital of France?"}]
  }'

채팅 완료 엔드포인트

uncensored 모델에서 직접 텍스트 응답을 받기 위해 프롬프트를 chat completions 엔드포인트로 전송하세요. 이 단일 엔드포인트는 임베딩이나 멀티모달 처리의 오버헤드 없이 모든 텍스트 생성을 처리합니다.

모델은 시스템, 사용자, 어시스턴트 역할이 포함된 표준 메시지 배열을 수용합니다. 합법적인 성인 사용에 대해 콘텐츠 거부 없이 응답하도록 튜닝되어 있어 창의적인 글쓰기, 역할극 또는 제한 없는 데이터 분석에 이상적입니다.

페이로드를 간결하게 유지하세요. 최대 요청 본문 크기는 8MB로, 컨텍스트 제한에 도달하기 전에 대부분의 표준 대화 기록을 충분히 수용할 수 있습니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.aiinferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

스트리밍 및 토큰 사용량

요청에서 stream 매개변수를 true로 설정하여 실시간 출력 활성화. API는 서버 전송 이벤트(SSE) 스트림을 반환하여 생성되는 대로 토큰을 표시할 수 있습니다.

토큰 사용량 통계는 스트림의 마지막 청크에 포함됩니다. 이 설계는 생성 동안 페이로드를 가볍게 유지하면서 사전 지불 크레딧에 대한 정확한 청구 데이터를 보장합니다.

스트리밍은 최종 사용자의 지각된 지연 시간을 줄입니다. 응답을 즉시 렌더링을 시작할 수 있으며, 이는 상호작용 피드백 루프 또는 장문 콘텐츠 생성이 필요한 애플리케이션에 중요합니다.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

함수 호출 및 JSON 모드

JSON 모드 또는 함수 호출을 사용하여 프로그램용 소비를 위해 출력을 구조화합니다. response_format을 json_object로 설정하여 모델을 엄격한 JSON 스키마로 강제합니다.

툴 사용의 경우 tools 배열에 함수를 정의하세요. 모델은 코드가 구문 분석하고 실행할 수 있는 구조화된 인수를 반환합니다. 이 기능은 외부 구문 분석 라이브러리 없이도 복잡한 워크플로우를 지원합니다.

JSON 모드는 구조화되지 않은 텍스트에서 데이터를 추출할 때 특히 유용합니다. 이는 일관된 형식을 보장하여 애플리케이션 로직에서 후처리 정리에 필요한 작업을 줄입니다.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.aiinferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

파라미터: Temperature, Top P, Stop

표준 생성 매개변수를 사용하여 응답의 창의성과 종료를 제어하세요. 변동성을 위해 temperature를 조정하고 nucleus sampling을 위해 top_p를 조정하세요. stop 매개변수를 사용하여 출력의 종료를 알리는 특정 시퀀스를 정의하세요.

낮은 온도 설정은 더 결정적이고 집중적인 결과를 생성합니다. 높은 값은 더 많은 무작위성을 도입하며, 이는 브레인스토밍이나 창의적인 스토링 작업에 유용할 수 있습니다.

모델이 무한히 실행되는 것을 방지하기 위해 종료 시퀀스를 정의하세요. 이는 예측 가능한 토큰 사용량을 유지하고 애플리케이션이 깔끔하고 구분된 응답을 받도록 보장하는 데 필수적입니다.

오류 처리 및 제한

오류를 효과적으로 관리하기 위해 일반적인 HTTP 상태 코드를 위해 요청을 모니터링하세요. 401은 유효하지 않거나 만료된 API 키를 나타내며, 402는 선불 잔액이 소진되었음을 신호합니다.

300개 이상의 분당 요청 또는 키당 8개 이상의 동시 요청을 초과하면 429 속도 제한이 발생합니다. 여러 키에 부하를 분산하거나 요청 빈도를 줄여 처리량을 높이세요.

컨텍스트 윈도우는 프롬프트와 completion을 합쳐 100,000 토큰을 지원합니다. 이를 초과하지 않도록 주의하여 잘라내기를 피하십시오. 오류와 거절은 토큰을 소모하지 않으므로 실제 생성된 내용에 대해서만 요금이 부과됩니다.