FR ▾

Quelles API de modèles fonctionnent avec le SDK OpenAI ?

Rechercher « model apis api compatible with openai » signifie généralement une seule chose : vous voulez garder votre code client OpenAI et ne modifier que son pointeur. La compatibilité est graduelle, voici donc ce qu'il faut vérifier et un script qui le vérifie pour vous.

Une prise unique reliant plusieurs sockets différentes, représentant des endpoints compatibles OpenAI

Dernière mise à jour

Ce que signifie la compatibilité en pratique

Les SDK OpenAI sont configurables. Ils acceptent un base_url et une clé API, construisent une requête dans une structure connue et analysent la réponse dans une structure connue. Tout service qui accepte cette structure et répond dans cette structure fonctionnera avec le SDK. C'est toute l'idée, et c'est pourquoi tant de fournisseurs copient le format.

Le piège est que copier la structure d'une méthode ne signifie pas copier les autres. Un endpoint peut gérer correctement /chat/completions, ignorer l'appel de fonctions, ne pas envoyer de chunk d'utilisation final lors du streaming, ou renvoyer des erreurs dans une structure différente que votre code de réessai ne reconnaît pas. Le SDK ne vous avertira pas. Il se contentera de lever une exception en production.

Traitez donc la compatibilité comme une liste de fonctionnalités distinctes et testez chacune d'elles.

Les fonctionnalités à tester

Utilisez ce tableau comme liste de contrôle pour tout fournisseur candidat. La colonne de droite indique ce que ce service documente, afin que vous puissiez voir comment la vérification se lit en pratique.

FonctionnalitéPourquoi c'est importantCe service
Complétions de chatLa méthode principale utilisée par la plupart des applicationsOui, POST /v1/chat/completions
Méthode ResponsesLes clients OpenAI plus récents l'utilisentOui, POST /v1/responses
Liste des modèlesBeaucoup d'outils l'appellent au démarrageOui, GET /v1/models
Streaming (SSE)Nécessaire pour les interfaces de chatOui, les données d'utilisation sont envoyées à la fin
Appel de fonctionsAgents et appels de fonctionsOui, y compris les appels de fonctions en streaming
Mode JSONSortie structurée pour les analyseursOui, json_object
Paramètres d'échantillonnageStyle de réglage et répétitiontemperature, top_p, stop, seed, pénalités
Signaux de limite de débitPermet aux clients de bien ralentir leurs requêtesHTTP 429, les codes rate_limited et concurrency
Visibilité du soldeÉvitez les pannes inattenduesEn-tête X-Balance-USD et un endpoint de solde

Ajoutez deux choses que le tableau ne peut pas montrer : la fenêtre de contexte et le comportement du modèle sur vos propres prompts. Ici, la fenêtre est de 100 000 tokens pour le prompt plus la complétion.

Un script qui teste n'importe quel endpoint

Le script ci-dessous effectue cinq vérifications contre n'importe quelle Base URL que vous lui fournissez : liste des modèles, une requête de chat simple, le streaming, le mode JSON et un appel de fonctions forcé. Les valeurs par défaut pointent vers ce service, et deux variables d'environnement permettent de basculer vers un autre fournisseur afin que vous puissiez exécuter un test identique sur chaque candidat.

import json
import os

from openai import OpenAI

BASE_URL = os.environ.get("API_BASE", "https://api.modelapis.cc/v1")
MODEL = os.environ.get("API_MODEL", "uncensored")
client = OpenAI(base_url=BASE_URL, api_key=os.environ["API_KEY"])
ASK = [{"role": "user", "content": "Reply with the single word: ready"}]


def check_models():
    assert client.models.list().data, "empty model list"


def check_chat():
    r = client.chat.completions.create(model=MODEL, messages=ASK, max_tokens=20)
    assert r.choices[0].message.content
    assert r.usage and r.usage.total_tokens > 0, "no usage block"


def check_stream():
    s = client.chat.completions.create(model=MODEL, messages=ASK, stream=True)
    text = "".join(c.choices[0].delta.content or "" for c in s if c.choices)
    assert text


def check_json():
    r = client.chat.completions.create(
        model=MODEL,
        messages=[{"role": "user", "content": "Return a JSON object with key ok set to true."}],
        response_format={"type": "json_object"},
    )
    assert json.loads(r.choices[0].message.content)


def check_tools():
    tools = [{"type": "function", "function": {
        "name": "get_time", "description": "Get the current time",
        "parameters": {"type": "object", "properties": {}}}}]
    r = client.chat.completions.create(
        model=MODEL, messages=ASK, tools=tools,
        tool_choice={"type": "function", "function": {"name": "get_time"}})
    assert r.choices[0].message.tool_calls, "no tool call returned"


for fn in (check_models, check_chat, check_stream, check_json, check_tools):
    try:
        fn()
        print("ok  ", fn.__name__)
    except Exception as e:
        print("FAIL", fn.__name__, type(e).__name__, str(e)[:100])

Exécutez-le avec API_KEY=... python check.py. Un échec sur une ligne vous indique exactement quelle fonctionnalité demander au fournisseur. Une exécution propre ne prouve pas la qualité, mais elle prouve que votre code client ne cassera pas.

Comment lire les résultats

Un ok sur chaque ligne signifie que le SDK a analysé chaque forme de réponse sans erreur. Un échec sur check_tools seul signifie généralement que l'endpoint ignore tools ou que le modèle n'appelle pas les fonctions de manière fiable. Un échec sur check_json signifie souvent que la réponse est revenue enveloppée dans du texte ou une balise de code. Un échec sur check_stream peut être dû à un proxy qui met en mémoire tampon les événements, à un dernier chunk manquant ou à un endpoint qui n'envoie aucun contenu delta du tout.

Exécutez le script deux fois. La première exécution vous informe sur la prise en charge, la seconde, avec quelques secondes de délai, sur la stabilité. Exécutez-le également depuis la machine où votre application sera exécutée, car les réseaux et les proxies modifient l'apparence du streaming.

Test de la méthode Responses

Le code client OpenAI plus récent appelle de plus en plus la méthode Responses au lieu des complétions de chat. Ce service accepte POST /v1/responses, afin que le même client puisse utiliser l'une ou l'autre. Tous les fournisseurs compatibles ne l'implémentent pas, ce qui justifie une vérification séparée :

from openai import OpenAI

client = OpenAI(base_url="https://api.modelapis.cc/v1", api_key="YOUR_API_KEY")

r = client.responses.create(
    model="uncensored",
    input="List three checks for an OpenAI-compatible endpoint.",
)
print(r.output_text)

Si un fournisseur renvoie 404 ici mais passe le test de chat, votre ancien code va bien et les nouvelles fonctionnalités du SDK qui dépendent de cette méthode ne le seront pas. Décidez lesquels de vos outils en ont besoin avant de choisir.

Où les endpoints compatibles diffèrent généralement

Gestion des erreurs

Les limites de débit sont les surprises les plus courantes. Cette API répond par un HTTP 429 et un code d'erreur rate_limited en cas de trop nombreuses requêtes par minute, ou concurrency en cas de trop nombreuses requêtes simultanées. En cas de surcharge temporaire, elle renvoie 429 avec Retry-After: 5. Un autre fournisseur peut utiliser des codes différents ou aucun, alors testez votre logique de backoff contre chacun.

Limites

Une clé complète ici permet 8 requêtes simultanées et 300 requêtes par minute, et une clé d'essai permet 2 et 60. Une requête en streaming occupe son slot de concurrence jusqu'à la fin du flux, ce qui est important pour les applications de chat. Les corps de requête sont limités à 8 Mo.

Nommage des modèles

Certains services acceptent n'importe quelle chaîne de caractères comme nom de modèle et le mappent silencieusement. D'autres rejettent les noms inconnus. Ici, vous passez uncensored, et la documentation en liste les détails.

Comportement

Deux endpoints compatibles peuvent répondre très différemment au même prompt. Ce service exécute un seul modèle à poids ouverts, ajusté pour répondre sans refus de contenu pour un usage adulte légal, avec une limite stricte sur le contenu sexuel impliquant des mineurs. Un modèle d'un fournisseur grand public refusera davantage. Aucun n'est faux, mais ils conviennent à des produits différents.

Une méthode pratique pour décider est de noter trois exigences qui doivent être remplies (par exemple le streaming, les appels d'outils et un code 429 que vous pouvez reconnaître), d'exécuter le script sur chaque candidat et d'éliminer ceux qui échouent. Parmi les survivants, comparez le prix sur votre propre mélange de tokens et le comportement sur vos propres prompts. Cet ordre fait gagner du temps, car les écarts de fonctionnalités sont faciles à détecter et les comparaisons de coûts ne valent pas la peine d'être faites pour un endpoint qui ne peut pas exécuter votre code.

Quand une autre option est un meilleur choix

Nous ne cherchons pas à être la réponse à toutes les requêtes. Choisissez autre chose lorsque :

  • Vous avez besoin de génération d'images, d'audio ou de vidéo, d'embeddings ou de fine-tuning. Ce service est uniquement textuel.
  • Vous avez besoin de la sortie d'un modèle d'un fournisseur spécifique. Nous ne sommes l'API officielle d'aucun fournisseur et nous ne routons pas entre les fournisseurs.
  • Votre politique exige un contrat d'entreprise ou une certification de conformité spécifique. Nous ne faisons aucune affirmation à ce sujet ici.

Choisissez cet endpoint lorsque vous voulez un modèle de chat à poids ouverts sans refus de contenu pour un usage adulte légal, une interface de type OpenAI et une facturation au token. Les tarifs sont de 0,15 $ par 1 M de tokens d'entrée et de 0,50 $ par 1 M de tokens de sortie, détaillés sur la page des tarifs.

Essayez-le avec une clé d'essai

Créez un compte avec Google ou avec e-mail et mot de passe, puis ouvrez la page de clé API. Les nouveaux utilisateurs peuvent réclamer 0,50 $ de crédit d'essai en un clic. Il dure 7 jours et ne nécessite pas de carte, ce qui est largement suffisant pour exécuter le script ci-dessus de nombreuses fois.

Une fois vos résultats obtenus, comparez-les côte à côte. Conservez la sortie de chaque exécution et ajoutez les colonnes qui vous intéressent : les refus sur vos prompts d'échantillon, le temps jusqu'au premier token sur votre réseau, et le coût du même ensemble de prompts aux prix actuels de chaque fournisseur.

Questions fréquentes

Est-ce que compatible OpenAI est identique à OpenAI ?

Non. Cela signifie que l'endpoint accepte le même format de requête, de sorte que les SDK OpenAI fonctionnent après avoir modifié l'URL de base et la clé. Le modèle sous-jacent peut être complètement différent.

Quelle URL de base utiliser pour le SDK OpenAI ici ?

Utilisez https://api.modelapis.cc/v1 comme URL de base, votre clé comme jeton Bearer et uncensored comme ID de modèle.

Le streaming fonctionne-t-il avec l'option stream du SDK ?

Oui. Définissez stream sur true et lisez les événements envoyés par le serveur comme d'habitude ; l'utilisation est envoyée à la fin du flux.

Comment vérifier mon solde depuis le code ?

Lisez l'en-tête de réponse X-Balance-USD sur n'importe quelle requête, ou effectuez un GET /v1/balance ou le chemin credit_grants au style OpenAI sous /v1/dashboard/billing.

Accédez à votre clé instantanément

Inscrivez-vous, récupérez votre clé, mettez à jour votre URL de base. C'est tout.

Créer une cléVoir la documentation