Erreurs courantes de l'API d'inférence : Guide de dépannage
Une API d'inférence échoue souvent en raison de limites de tokens mal configurées, d'en-têtes de streaming incorrects ou de filtres de contenu inattendus. Ce guide résout les erreurs d'intégration les plus courantes pour les déploiements de modèles non censure et les clients compatibles OpenAI.
Conclusions clés
Les refus se produisent lorsque des limites strictes comme le contenu impliquant des mineurs sont violées, et non simplement des filtres généraux.
Les fenêtres de contexte comptent les tokens de prompt et de complétion ensemble, nécessitant une gestion attentive des longues entrées.
Les réponses en streaming doivent analyser le dernier chunk pour récupérer les statistiques d'utilisation de jetons précises.
Les erreurs de mode JSON proviennent généralement de définitions de schéma malformées ou d'en-têtes response_format manquants.
Pourquoi votre modèle uncensored peut encore refuser
Le modèle n’refuse pas les sujets adultes licites, fictifs, de recherche en sécurité ou controversés. Cependant, une limite de contenu stricte s’applique toujours concernant le contenu sexuel impliquant des mineurs. Les requêtes contenant cette violation spécifique sont refusées immédiatement. Ce filtre est distinct des garde-fous de sécurité standards trouvés dans d’autres modèles.
Vérifiez votre entrée pour les indicateurs subtils de mineurs dans des contextes sexuels. Même si le modèle est uncensored, cette limite spécifique reste appliquée. Tous les autres types de contenu passent sans refus. Cela garantit la conformité légale tout en maintenant la liberté pour les autres cas d'utilisation.
Gestion des limites de tokens et des fenêtres de contexte
La fenêtre de contexte permet 100,000 tokens pour le prompt et la complétion combinés. Vous devez suivre les tokens d'entrée pour vous assurer qu'ils ne dépassent pas cette limite lorsqu'ils sont combinés avec la sortie. Le maximum de sortie par demande est de 16,000 tokens. Si vous ne définissez pas max_tokens, la valeur par défaut est de 2,048 tokens.
Calculez votre budget avec soin. Les documents longs consomment un contexte significatif. Si vous dépassez la limite, l'API renvoie une erreur. Divisez les grandes entrées en morceaux plus petits pour maintenir les performances. Cela empêche la troncature des informations critiques dans votre invite.
Débogage des réponses en streaming
Le streaming via SSE délivre les tokens en temps réel. Vous devez analyser le dernier chunk pour récupérer les statistiques précises d'utilisation des tokens. Les données d'utilisation des tokens n'apparaissent que dans le dernier chunk du flux. Les chunks précédents contiennent uniquement le delta de contenu.
Mettez en œuvre un compteur pour suivre le nombre total de jetons traités. Additionnez les jetons d'entrée et de sortie de la réponse finale. Cela garantit une facturation et un suivi de l'utilisation précis. Ne vous fiez pas aux comptes partiels des fragments intermédiaires. Ils ne reflètent pas le coût total de la requête.
Erreurs et validation du Mode JSON
Le mode JSON impose une validation stricte du schéma. Vous devez définir le paramètre response_format sur json_object. Le modèle tente de sortir un JSON valide. Des erreurs se produisent si le schéma est mal formé ou si la sortie ne peut pas être analysée.
Validez votre schéma JSON avant d'envoyer des requêtes. Assurez-vous que tous les champs obligatoires sont définis. Utilisez un linter pour vérifier la syntaxe de votre schéma. Cela réduit les erreurs de validation et garantit une sortie cohérente. Testez d'abord avec de petites entrées pour vérifier le format.
Comprendre le choix d'outil et l'appel de fonction
L'appel de fonction permet au modèle d'invoquer des outils. Vous pouvez spécifier tool_choice pour contrôler le comportement. Le modèle renvoie des données structurées pour l'exécution de l'outil. Cela permet des workflows complexes et l'intégration de données externes.
Définissez clairement vos outils dans la requête. Fournissez des descriptions pour chaque outil. Le modèle utilise ces descriptions pour décider quand les appeler. Testez les définitions d'outils avec divers entrées. Assurez-vous que la sortie corresponde au format attendu.
Limites de débit et requêtes simultanées
Chaque clé est limitée à 300 requêtes par minute. Vous pouvez effectuer jusqu'à 8 requêtes simultanées. La taille du corps de la requête est plafonnée à 8 Mo. Le dépassement de ces limites entraîne une erreur 429.
Implémentez une régression exponentielle pour les nouvelles tentatives. Surveillez votre utilisation pour rester dans les limites. Utilisez plusieurs clés si vous avez besoin d'un débit supérieur. Cela garantit un fonctionnement fluide pendant les périodes de forte utilisation. Suivez le volume de vos requêtes pour éviter les interruptions inattendues.
Surprises tarifaires : Jetons d'entrée vs Jetons de sortie
La tarification est de 0,15 $ par 1M de tokens d'entrée et de 0,50 $ par 1M de tokens de sortie. Les tokens de sortie sont plus chers. Les réponses longues augmentent considérablement les coûts. Surveillez la longueur de vos sorties pour maîtriser les dépenses.
Définissez max_tokens pour limiter la longueur de la sortie. Cela évite les frais imprévus dus aux réponses longues. Suivez régulièrement votre consommation de jetons. Utilisez les données d'utilisation des jetons du dernier chunk pour calculer les coûts avec précision.
Paiements crypto et expiration des crédits
Le crédit est rechargé uniquement en crypto. Nous acceptons USDT sur TRC20 ou USDC sur Base. Le rechargement minimum est de $20 et le maximum est de $500. Le crédit n'expire jamais. Les erreurs comme les doubles prélèvements sont corrigées via la page Support.
Le crédit bonus s'applique aux recharges plus importantes. Vous recevez un bonus de +5 % à partir de 50 $, +10 % à partir de 100 $, et +15 % à partir de 200 $. Les erreurs et les refus sont gratuits. Cela garantit que vous ne payez que pour l'utilisation réelle.
Questions fréquemment posées
Qu'est-ce qu'une API d'inférence ?
Une API d'inférence vous permet d'envoyer du texte à un modèle de langage large et de recevoir du texte en retour. Elle normalise le point de terminaison afin que vous puissiez utiliser des SDK standard. Cela simplifie l'intégration avec vos applications.
Quels modes de paiement acceptez-vous ?
Crypto uniquement : USDT sur TRC20 ou USDC sur Base, tout montant entier de 20 $ à 500 $. Un crédit bonus s'applique à partir de 50 $.
L'API prend-elle en charge le streaming ?
Oui, il prend en charge le streaming via les Server-Sent Events. Vous recevez les tokens en temps réel. Le dernier chunk contient l'utilisation totale des tokens.
Comment payer avec de la crypto ?
Vous pouvez recharger avec des USDT sur TRC20 ou des USDC sur Base. Le montant doit être compris entre 20 $ et 500 $. Un crédit bonus est ajouté automatiquement.
Récupérer votre clé API
Inscrivez-vous, récupérez votre clé, et mettez à jour l'URL de base. C'est toute la configuration.
