Errores Comunes de la API de Inferencia: Guía de Solución de Problemas

Por qué tu modelo sin censura aún podría rechazar

El modelo no rechaza temas adultos lícitos, ficticios, de investigación de seguridad o controvertidos. Sin embargo, siempre se aplica un límite estricto de contenido respecto al contenido sexual que involucra a menores. Las solicitudes que contienen esta violación específica se rechazan inmediatamente. Este filtro es distinto de las protecciones de seguridad estándar que se encuentran en otros modelos.

Verifica tu entrada para indicadores sutiles de personajes menores en contextos sexuales. Incluso si el modelo es sin censura, este límite específico se mantiene. Todo lo demás pasa sin rechazo. Esto asegura el cumplimiento legal mientras mantiene la libertad para otros casos de uso.

Gestión de límites de tokens y ventanas de contexto

La ventana de contexto permite 100,000 tokens para prompt y completado combinados. Debes rastrear los tokens de entrada para asegurarte de que no superen este límite cuando se combinen con la salida. La salida máxima por solicitud es de 16,000 tokens. Si no estableces max_tokens, el valor predeterminado es 2,048 tokens.

Calcula tu presupuesto con cuidado. Los documentos largos consumen contexto significativo. Si excedes el límite, la API devuelve un error. Divide las entradas grandes en fragmentos más pequeños para mantener el rendimiento. Esto evita la truncación de información crítica en tu prompt.

Depuración de respuestas en streaming

El streaming mediante SSE entrega tokens en tiempo real. Debes analizar el fragmento final para recuperar las estadísticas precisas de uso de tokens. Los datos de uso de tokens aparecen solo en el último fragmento del flujo. Los fragmentos anteriores contienen solo el delta de contenido.

Implementa un contador para rastrear el total de tokens procesados. Suma los tokens de entrada y salida de la respuesta final. Esto garantiza una facturación y un seguimiento de uso precisos. No confíes en conteos parciales de fragmentos intermedios. No reflejan el costo total de la solicitud.

Errores y validación del modo JSON

El modo JSON aplica una validación estricta del esquema. Debes establecer el parámetro response_format a json_object. El modelo intenta output JSON válido. Se producen errores si el esquema está mal formado o la salida no se puede analizar.

Valida tu esquema JSON antes de enviar solicitudes. Asegúrate de que todos los campos requeridos estén definidos. Usa un linter para verificar la sintaxis de tu esquema. Esto reduce los errores de validación y asegura una salida consistente. Prueba primero con entradas pequeñas para verificar el formato.

Comprender la elección de herramientas y la llamada de funciones

La invocación de funciones permite al modelo invocar herramientas. Puedes especificar tool_choice para controlar el comportamiento. El modelo devuelve datos estructurados para la ejecución de herramientas. Esto habilita flujos de trabajo complejos e integración de datos externos.

Define tus herramientas claramente en la solicitud. Proporciona descripciones para cada herramienta. El modelo utiliza estas descripciones para decidir cuándo llamarlas. Prueba las definiciones de las herramientas con varias entradas. Asegúrate de que la salida coincida con el formato esperado.

Límites de velocidad y solicitudes concurrentes

Cada clave está limitada a 300 solicitudes por minuto. Puedes realizar hasta 8 solicitudes concurrentes simultáneamente. El tamaño del cuerpo de la solicitud está limitado a 8 MB. Superar estos límites resulta en un error 429.

Implementa un retroceso exponencial para los reintentos. Monitorea tu uso para mantenerte dentro de los límites. Utiliza múltiples claves si necesitas un mayor rendimiento. Esto garantiza un funcionamiento fluido durante los picos de uso. Rastrea el volumen de tus solicitudes para evitar interrupciones inesperadas.

Sorpresas en los precios: Tokens de entrada frente a tokens de salida

El precio es de $0.15 por cada 1M de tokens de entrada y $0.50 por cada 1M de tokens de salida. Los tokens de salida son más caros. Las respuestas largas aumentan significativamente los costes. Monitoriza la longitud de tu salida para controlar los gastos.

Establece max_tokens para limitar la longitud de la salida. Esto evita cargos inesperados por respuestas largas. Rastrea el uso de tokens regularmente. Usa los datos de uso de tokens del último fragmento para calcular los costos con precisión.

Pagos con criptomonedas y vencimiento de créditos

El crédito se recarga únicamente con criptomonedas. Aceptamos USDT en TRC20 o USDC en Base. El recargo mínimo es de $20 y el máximo es de $500. El crédito no caduca. Los errores como cobros duplicados se solucionan a través de la página de Soporte.

El crédito de bonificación se aplica a recargas más grandes. Recibes un bono del +5% desde $50, +10% desde $100 y +15% desde $200. Los errores y rechazos son gratuitos. Esto asegura que solo pagues por el uso real.