Welche Model-APIs funktionieren mit dem OpenAI-SDK?
Die Suche nach „model apis api compatible with openai“ bedeutet meist eines: Du möchtest deinen OpenAI-Client-Code beibehalten und nur die Ziel-URL ändern. Kompatibilität ist ein Spektrum, daher ist hier zu prüfen, was wichtig ist, und ein Skript, das das für dich überprüft.

Was Kompatibilität in der Praxis bedeutet
Die OpenAI-SDKs sind konfigurierbar. Sie akzeptieren eine base_url und einen API-Schlüssel, bauen eine Anfrage in einer bekannten Form auf und interpretieren die Antwort in einer bekannten Form. Jeder Dienst, der diese Form akzeptiert und in dieser Form antwortet, funktioniert mit dem SDK. Das ist die ganze Idee, und das ist der Grund, warum so viele Anbieter das Format kopieren.
Der Haken ist, dass das Kopieren der Struktur einer Methode nicht bedeutet, die anderen zu kopieren. Ein Endpunkt kann /chat/completions gut verarbeiten und das Function Calling überspringen, das Streaming ohne finalen Nutzungskontext durchführen oder Fehler in einer anderen Struktur zurückgeben, die dein Retry-Code nicht erkennt. Das SDK wird dich nicht warnen. Es wird einfach in der Produktion eine Ausnahme auslösen.
Behandle Kompatibilität also als eine Liste separater Features und teste jedes einzelne.
Die zum Testen wichtigen Features
Verwende diese Tabelle als Checkliste für jeden Kandidaten. Die rechte Spalte zeigt, was dieser Dienst dokumentiert, damit du siehst, wie die Prüfung in der Praxis aussieht.
| Merkmal | Warum es wichtig ist | Dieser Dienst |
|---|---|---|
| Chat-Vervollständigungen | Die Kernmethode, die die meisten Apps verwenden | Ja, POST /v1/chat/completions |
| Responses-Methode | Neuere OpenAI-Clients verwenden sie | Ja, POST /v1/responses |
| Modellliste | Viele Tools rufen dies beim Start auf | Ja, GET /v1/models |
| Streaming (SSE) | Notwendig für Chat-Oberflächen | Ja, die Nutzungsinformationen kommen am Ende |
| Function Calling | Agents und Function Calling | Ja, einschließlich gestreamter Toolaufrufe |
| JSON-Modus | Strukturierte Ausgabe für Parser | Ja, json_object |
| Parameter | Tuning-Stil und Wiederholung | Temperatur, top_p, Stop, Seed, Strafen |
| Ratenlimit-Signale | Lässt Clients korrekt zurückweichen | HTTP 429, Codes rate_limited und concurrency |
| Sichtbarkeit des Kontostands | Überraschende Ausfälle vermeiden | X-Balance-USD-Header und ein Balance-Endpunkt |
Füge zwei Dinge hinzu, die die Tabelle nicht zeigen kann: das Kontextfenster und das Verhalten des Modells bei deinen eigenen Prompts. Hier beträgt das Fenster 100.000 Token für Prompt plus Vervollständigung.
Ein Skript, das einen beliebigen Endpunkt testet
Das folgende Skript führt fünf Prüfungen gegen jede Base URL aus, die du angibst: Modellliste, ein einfacher Chat-Aufruf, Streaming, JSON-Modus und ein erzwungener Tool Call. Die Standards verweisen auf diesen Dienst, und zwei Umgebungsvariablen ersetzen einen anderen Anbieter, sodass du denselben Test für jeden Kandidaten ausführen kannst.
import json
import os
from openai import OpenAI
BASE_URL = os.environ.get("API_BASE", "https://api.modelapis.cc/v1")
MODEL = os.environ.get("API_MODEL", "uncensored")
client = OpenAI(base_url=BASE_URL, api_key=os.environ["API_KEY"])
ASK = [{"role": "user", "content": "Reply with the single word: ready"}]
def check_models():
assert client.models.list().data, "empty model list"
def check_chat():
r = client.chat.completions.create(model=MODEL, messages=ASK, max_tokens=20)
assert r.choices[0].message.content
assert r.usage and r.usage.total_tokens > 0, "no usage block"
def check_stream():
s = client.chat.completions.create(model=MODEL, messages=ASK, stream=True)
text = "".join(c.choices[0].delta.content or "" for c in s if c.choices)
assert text
def check_json():
r = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": "Return a JSON object with key ok set to true."}],
response_format={"type": "json_object"},
)
assert json.loads(r.choices[0].message.content)
def check_tools():
tools = [{"type": "function", "function": {
"name": "get_time", "description": "Get the current time",
"parameters": {"type": "object", "properties": {}}}}]
r = client.chat.completions.create(
model=MODEL, messages=ASK, tools=tools,
tool_choice={"type": "function", "function": {"name": "get_time"}})
assert r.choices[0].message.tool_calls, "no tool call returned"
for fn in (check_models, check_chat, check_stream, check_json, check_tools):
try:
fn()
print("ok ", fn.__name__)
except Exception as e:
print("FAIL", fn.__name__, type(e).__name__, str(e)[:100])
Führe es mit API_KEY=... python check.py aus. Ein Fehler in einer Zeile sagt dir genau, nach welchem Feature du den Anbieter fragen musst. Ein sauberer Lauf beweist nicht die Qualität, aber er beweist, dass dein Client-Code nicht abstürzt.
Wie man die Ergebnisse liest
Ein ok in jeder Zeile bedeutet, dass das SDK jede Antwortstruktur ohne Fehler analysiert hat. Ein Fehler bei check_tools bedeutet meist, dass der Endpunkt tools ignoriert oder das Modell sie nicht zuverlässig aufruft. Ein Fehler bei check_json bedeutet oft, dass die Antwort in Fließtext oder einen Code-Block eingebettet zurückkam. Ein Fehler bei check_stream kann ein Proxy sein, der Ereignisse puffert, ein fehlender finaler Chunk oder ein Endpunkt, der überhaupt keine delta-Inhalte sendet.
Führe das Skript zweimal aus. Der erste Lauf zeigt dir die Unterstützung, der zweite, mit einigen Sekunden Verzögerung, die Stabilität. Führe es auch von der Maschine aus, auf der deine App laufen wird, da Netzwerke und Proxies das Aussehen des Streamings verändern können.
Testen der Responses-Methode
Neuerer OpenAI-Client-Code ruft zunehmend die Responses-Methode anstelle von Chat-Vervollständigungen auf. Dieser Dienst akzeptiert POST /v1/responses, sodass derselbe Client entweder die eine oder die andere verwenden kann. Nicht jeder kompatible Anbieter implementiert dies, was eine separate Prüfung wert ist:
from openai import OpenAI
client = OpenAI(base_url="https://api.modelapis.cc/v1", api_key="YOUR_API_KEY")
r = client.responses.create(
model="uncensored",
input="List three checks for an OpenAI-compatible endpoint.",
)
print(r.output_text)
Wenn ein Anbieter hier 404 zurückgibt, aber den Chat-Test besteht, ist dein älterer Code in Ordnung und neuere SDK-Funktionen, die auf dieser Methode basieren, werden das nicht sein. Entscheide, welche deiner Tools dies benötigen, bevor du dich entscheidest.
Wo kompatible Endpunkte normalerweise abweichen
Fehlerbehandlung
Ratenlimits sind die häufigste Überraschung. Diese API antwortet mit HTTP 429 und einem Fehlercode von rate_limited für zu viele Anfragen pro Minute oder concurrency für zu viele gleichzeitig. Bei temporärer Überlastung gibt sie 429 mit Retry-After: 5 zurück. Ein anderer Anbieter kann andere Codes verwenden oder keine, also teste deine Backoff-Logik gegen jeden.
Limits
Ein voller Schlüssel hier erlaubt 8 parallele Anfragen und 300 Anfragen pro Minute, und ein Test-Schlüssel erlaubt 2 und 60. Eine gestreamte Anfrage belegt ihren Parallelitäts-Slot, bis das Streaming endet, was für Chat-Apps relevant ist. Request-Body sind auf 8 MB begrenzt.
Modellbenennung
Einige Dienste akzeptieren beliebige Strings als Modellnamen und mappen sie stillschweigend. Andere lehnen unbekannte Namen ab. Hier übergibst du uncensored, und die Dokumentation enthält die Details.
Verhalten
Zwei kompatible Endpunkte können auf denselben Prompt sehr unterschiedlich antworten. Dieser Dienst nutzt ein Open-Weight-Modell, das darauf abgestimmt ist, ohne Inhaltsablehnungen für die legale Erwachsenen-Nutzung zu antworten, mit einer harten Grenze für sexuelle Inhalte mit Minderjährigen. Ein Mainstream-Anbieter-Modell wird öfter ablehnen. Keines ist falsch, aber sie eignen sich für unterschiedliche Produkte.
Ein praktischer Weg zur Entscheidung ist, drei Anforderungen aufzuschreiben, die erfüllt sein müssen (z. B. Streaming, Tool Calls und ein erkennbarer 429-Fehler), das Skript für jeden Kandidaten auszuführen und alle auszuschließen, die versagen. Unter den verbleibenden Kandidaten vergleichst du den Preis bei deiner eigenen Token-Mischung und das Verhalten bei deinen eigenen Prompts. Diese Reihenfolge spart Zeit, da Funktionslücken schnell zu finden sind und Kostenvergleiche für einen Endpunkt, der deinen Code nicht ausführen kann, nicht lohnenswert sind.
Wenn eine andere Option besser passt
Wir versuchen nicht, die Antwort auf jede Frage zu sein. Wähle etwas anderes, wenn:
- Du brauchst Bild-, Audio- oder Videogenerierung, Embeddings oder Fine-Tuning. Dieser Dienst ist ausschließlich für Text.
- Du benötigst die Ausgabe des Modells eines bestimmten Anbieters. Wir sind nicht die offizielle API eines Anbieters und wir leiten nicht über Anbieter hinweg weiter.
- Deine Richtlinie erfordert einen Enterprise-Vertrag oder eine spezifische Compliance-Zertifizierung. Wir erheben hier keine Ansprüche dazu.
Wähle diesen Endpunkt, wenn du ein Open-Weight-Chat-Modell ohne Inhaltsablehnungen für die legale Erwachsenen-Nutzung, eine OpenAI-ähnliche Schnittstelle und eine pro-Token-Abrechnung möchtest. Die Preise betragen $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token, detailliert auf der Preisseite.
Mit einem Test-Schlüssel ausprobieren
Erstelle ein Konto mit Google oder mit E-Mail und Passwort, und öffne dann die API-Schlüssel-Seite. Neue Nutzer können $0,50 an Testguthaben mit einem Klick beanspruchen. Es dauert 7 Tage und benötigt keine Karte, was mehr als genug ist, um das obige Skript viele Male auszuführen.
Sobald deine Ergebnisse vorliegen, vergleiche sie nebeneinander. Behalte die Ausgabe jedes Laufs und füge die Spalten hinzu, die für dich wichtig sind: Ablehnungen bei deinen Beispiel-Prompts, Zeit bis zum ersten Token in deinem Netzwerk und die Kosten für denselben Promptsatz zu den aktuellen Preisen jedes Anbieters.
Weitere Anleitungen
Häufig gestellte Fragen
Ist OpenAI-kompatibel dasselbe wie OpenAI?
Nein. Es bedeutet, dass der Endpunkt dasselbe Anfrageformat akzeptiert, sodass OpenAI-SDKs nach Änderung der Basis-URL und des Schlüssels funktionieren. Das dahinterstehende Modell kann völlig anders sein.
Welche Basis-URL verwende ich hier für das OpenAI-SDK?
Verwende https://api.modelapis.cc/v1 als Basis-URL, deinen Schlüssel als Bearer-Token und uncensored als Modell-ID.
Funktioniert Streaming mit der stream-Option des SDK?
Ja. Setze stream auf true und lese die Server-Sent-Events wie üblich; die Nutzungsinformationen werden am Ende des Streams gesendet.
Wie überprüfe ich mein Guthaben aus dem Code?
Lese den X-Balance-USD-Antwortheader bei jedem Aufruf, oder fordere GET /v1/balance oder den OpenAI-Stil credit_grants-Pfad unter /v1/dashboard/billing an.
Greife sofort auf deinen Schlüssel zu
Registriere dich, rufe deinen Schlüssel ab, aktualisiere deine Basis-URL. Das ist alles.