Inference API Časté chyby: Průvodce řešením problémů

Proč může váš model bez omezení stále odmítnout

Model neodepře zákonná témata pro dospělé, fiktivní, bezpečnostní výzkum nebo kontroverzní. Nicméně vždy platí pevný limit obsahu týkající se sexuálního obsahu zahrnujícího nezletilé. Požadavky obsahující toto konkrétní porušení jsou okamžitě odepřeny. Tento filtr je odlišný od standardních bezpečnostních zábran nalezených v jiných modelech.

Zkontrolujte svůj vstup na jemné indikátory minorů v sexuálních kontextech. I když je model uncensored, toto specifické omezení je stále uplatňováno. Všechny ostatní typy obsahu procházejí bez odmítnutí. To zajišťuje právní soulad při zachování svobody pro ostatní případy užití.

Zvládání limitů tokenů a oken kontextu

Kontextové okno umožňuje 100 000 tokenů pro prompt a dokončení dohromady. Musíte sledovat vstupní tokeny, abyste zajistili, že nepřekročí tento limit, když jsou kombinovány s výstupem. Maximální výstup na požadavek je 16 000 tokenů. Pokud nenastavíte max_tokens, výchozí hodnota je 2 048 tokenů.

Vypočítejte svůj rozpočet pečlivě. Dlouhé dokumenty spotřebovávají významnou část kontextu. Pokud překročíte limit, API vrátí chybu. Rozdělte velké vstupy na menší části, abyste udrželi výkon. To zabraňuje oříznutí kritické informace ve vašem promptu.

Ladění streamovaných odpovědí

Streamování přes SSE doručuje tokeny v reálném čase. Musíte parsovat poslední chunk, abyste získali přesné statistiky využití tokenů. Data o využití tokenů se objevují pouze v posledním chunku streamu. Předchozí chunky obsahují pouze delta obsahu.

Implementujte počítadlo pro sledování celkového počtu zpracovaných tokenů. Sečtěte vstupní a výstupní tokeny z konečné odpovědi. To zajišťuje přesné fakturování a sledování využití. Nespolehněte se na částečné počty z mezilehlých částí. Ty neodrážejí celkové náklady na požadavek.

Chyby a validace v režimu JSON

Režim JSON vynucuje přísnou validaci schématu. Musíte nastavit parametr response_format na json_object. Model se snaží výstoupit platné JSON. Chyby nastanou, pokud je schéma neplatné nebo výstup nelze parsovat.

Ověřte své schéma JSON před odesláním požadavků. Ujistěte se, že všechna vyžadovaná pole jsou definována. Použijte linter k kontrole syntaxe schématu. To snižuje chyby validace a zajišťuje konzistentní výstup. Nejprve otestujte s malými vstupy, abyste ověřili formát.

Chápání volby nástrojů a volání funkcí

Volání funkcí umožňuje modelu volat nástroje. Můžete specifikovat tool_choice pro řízení chování. Model vrací strukturovaná data pro provedení nástroje. To umožňuje komplexní pracovní postupy a integraci externích dat.

Definujte své nástroje jasně v požadavku. Poskytněte popisy pro každý nástroj. Model používá tyto popisy k rozhodování, kdy je volat. Otestujte definice nástrojů s různými vstupy. Ujistěte se, že výstup odpovídá vašemu očekávanému formátu.

Limity rychlosti a souběžné požadavky

Každý klíč je omezen na 300 požadavků za minutu. Můžete mít až 8 souběžných požadavků najednou. Velikost těla požadavku je omezena na 8 MB. Překročení těchto limitů má za následek chybu 429.

Implementujte exponenciální zpomalování pro opakování. Sledujte své využití, abyste se drželi limitů. Použijte více klíčů, pokud potřebujete vyšší propustnost. To zajišťuje plynulý provoz během špiček. Sledujte objem požadavků, abyste předešli neočekávaným přerušením.

Překvapení v cenách: Vstupní vs. výstupní tokeny

Cena je 0,15 $ za 1M vstupních tokenů a 0,50 $ za 1M výstupních tokenů. Výstupní tokeny jsou dražší. Dlouhé odpovědi výrazně zvyšují náklady. Sledujte délku výstupu a řiďte tak náklady.

Nastavte max_tokens pro omezení délky výstupu. Tím předejdete neočekávaným poplatkům za dlouhé odpovědi. Pravidelně sledujte spotřebu tokenů. Pro přesný výpočet nákladů použijte data o spotřebě tokenů z posledního chunku.

Platby kryptoměnami a vypršení kreditů

Účet je dobíjen pouze kryptoměnami. Přijímáme USDT na síti TRC20 nebo USDC na síti Base. Minimální dobíjecí částka je $20 a maximální je $500. Kredity nevyprší. Chyby, jako jsou dvojí účty, jsou řešeny prostřednictvím stránky Podpora.

Bonusový kredit se uplatňuje u větších dobíjení. Získáte bonus +5 % od $50, +10 % od $100 a +15 % od $200. Chyby a odmítnutí jsou zdarma. To zajišťuje, že platíte pouze za skutečné použití.