哪些模型 API 兼容 OpenAI SDK?
搜索“model apis api compatible with openai”通常意味着一件事:你想保留 OpenAI 客户端代码,仅更改其指向位置。兼容性是分等级的,因此以下是你需要检查的内容以及一个自动检查的脚本。

实际意义上的兼容
OpenAI SDK 是可配置的。它们接受 base_url 和 API 密钥,以已知格式构建请求并以已知格式解析回复。任何接受该格式并以该格式回复的服务都能与 SDK 配合使用。这就是其核心理念,也是许多提供商复制该格式的原因。
问题在于,复制一种方法的格式并不意味着复制其他方法。一个接口可能很好地处理 /chat/completions 但跳过函数调用,流式输出时没有最终的使用量块,或以你的重试代码无法识别的不同结构返回错误。SDK 不会警告你,它只会在生产环境中抛出异常。
因此,将兼容性视为一系列独立的功能,并逐一测试。
值得测试的功能
将此表作为任何候选服务的检查清单。右列显示此服务的文档内容,以便你查看检查在实际中呈现的样子。
| 功能 | 为什么重要 | 此服务 |
|---|---|---|
| 聊天补全 | 大多数应用使用的核心方法 | 是,POST /v1/chat/completions |
| Responses 方法 | 较新的 OpenAI 客户端使用它 | 是,POST /v1/responses |
| 模型列表 | 许多工具在启动时调用它 | 是,GET /v1/models |
| 流式输出 (SSE) | 聊天 UI 需要 | 是,使用情况在最后到达 |
| 函数调用 | Agents 和 function calls | 是,包括流式 function calling |
| JSON 模式 | 供解析器使用的结构化输出 | 是,json_object |
| 采样参数 | 调优风格和重复 | temperature、top_p、stop、seed、penalties |
| 速率限制信号 | 让客户端正确退避 | HTTP 429,代码 rate_limited 和 concurrency |
| 余额可见性 | 避免意外停机 | X-Balance-USD 头和余额接口 |
添加表格无法显示的两项内容:上下文窗口和模型在你自己的提示词上的行为。此处的窗口为 100,000 tokens,用于 prompt 加 completion。
一个测试任意接口的脚本
下面的脚本针对你提供的任意 base URL 运行五项检查:模型列表、普通 chat 调用、streaming、JSON mode 和强制 function calling。默认值指向此服务,两个环境变量可替换为其他提供商,以便你对每个候选接口运行相同的测试。
import json
import os
from openai import OpenAI
BASE_URL = os.environ.get("API_BASE", "https://api.modelapis.cc/v1")
MODEL = os.environ.get("API_MODEL", "uncensored")
client = OpenAI(base_url=BASE_URL, api_key=os.environ["API_KEY"])
ASK = [{"role": "user", "content": "Reply with the single word: ready"}]
def check_models():
assert client.models.list().data, "empty model list"
def check_chat():
r = client.chat.completions.create(model=MODEL, messages=ASK, max_tokens=20)
assert r.choices[0].message.content
assert r.usage and r.usage.total_tokens > 0, "no usage block"
def check_stream():
s = client.chat.completions.create(model=MODEL, messages=ASK, stream=True)
text = "".join(c.choices[0].delta.content or "" for c in s if c.choices)
assert text
def check_json():
r = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": "Return a JSON object with key ok set to true."}],
response_format={"type": "json_object"},
)
assert json.loads(r.choices[0].message.content)
def check_tools():
tools = [{"type": "function", "function": {
"name": "get_time", "description": "Get the current time",
"parameters": {"type": "object", "properties": {}}}}]
r = client.chat.completions.create(
model=MODEL, messages=ASK, tools=tools,
tool_choice={"type": "function", "function": {"name": "get_time"}})
assert r.choices[0].message.tool_calls, "no tool call returned"
for fn in (check_models, check_chat, check_stream, check_json, check_tools):
try:
fn()
print("ok ", fn.__name__)
except Exception as e:
print("FAIL", fn.__name__, type(e).__name__, str(e)[:100])
使用 API_KEY=... python check.py 运行它。某一行失败会准确告诉你应向提供商询问哪个功能。运行顺利并不能证明质量,但它证明你的客户端代码不会出错。
如何解读结果
每一行都显示 ok 意味着 SDK 无误地解析了所有响应结构。仅 check_tools 失败通常意味着接口忽略 tools 或模型不能可靠地调用它们。check_json 失败通常意味着答案包裹在散文或代码块中。check_stream 失败可能是代理缓冲了事件、缺少最终块或接口根本不发送 delta 内容。
运行脚本两次。第一次运行了解支持情况,第二次运行(间隔几秒)了解稳定性。还要在你应用运行的机器上运行它,因为网络和代理会改变流式输出的表现。
测试 Responses 方法
较新的 OpenAI 客户端代码越来越多地调用 Responses 方法而不是聊天补全。此服务接受 POST /v1/responses,因此同一客户端可以使用任一方法。并非所有兼容的提供商都实现了它,因此值得单独检查:
from openai import OpenAI
client = OpenAI(base_url="https://api.modelapis.cc/v1", api_key="YOUR_API_KEY")
r = client.responses.create(
model="uncensored",
input="List three checks for an OpenAI-compatible endpoint.",
)
print(r.output_text)
如果提供商在此处返回 404 但通过了 chat 测试,你的旧代码没问题,但依赖此方法的新 SDK 功能将不可用。在选择之前,决定哪些工具需要它。
兼容接口通常存在的差异
错误处理
速率限制是最常见的意外情况。当每分钟请求过多时,此 API 返回 HTTP 429 错误,错误码为 rate_limited;当并发请求过多时,返回错误码为 concurrency。在临时过载时,它会返回 429 状态码并附带 Retry-After: 5 头。其他提供商可能使用不同的错误码或没有错误码,因此请针对每种情况测试你的退避逻辑。
限制
在此处,完整密钥允许 8 个并发请求和每分钟 300 个请求,而试用密钥允许 2 个并发请求和每分钟 60 个请求。流式请求会占用并发槽位,直到流结束,这对聊天应用很重要。请求体上限为 8 MB。
模型命名
某些服务接受任何字符串作为模型名称并静默映射。其他服务则拒绝未知名称。在此处你传入 uncensored,详细信息列在 文档中。
行为
两个兼容的接口对同一提示词可能给出截然不同的回答。此服务运行一个开放权重模型,针对合法成人用途进行了优化,禁止涉及未成年人的性内容。主流厂商的模型会拒绝更多内容。两者都没有错,但适合不同的产品。
一种实用的决策方法是列出必须满足的三个要求(例如流式输出、函数调用和可识别的 429 错误),对每个候选者运行脚本,并排除任何失败者。在幸存者中,根据你的 token 组合比较价格,并在你自己的提示词上比较行为。这个顺序可以节省时间,因为功能差距很容易发现,而对于无法运行你代码的接口,进行成本比较并不值得。
当另一个选项更合适时
我们并不试图成为所有查询的答案。当出现以下情况时,请选择其他服务:
- 你需要图像、音频或视频生成、嵌入或微调。此服务仅支持文本。
- 你需要特定厂商模型的输出。我们不是任何厂商的官方 API,也不跨厂商路由。
- 你的政策要求企业合同或特定的合规认证。我们在此不对此做出任何声明。
当你想要一个用于合法成人用途、无内容拒绝的开放权重聊天模型,具有 OpenAI 风格的接口并按 token 计费时,请选择此接口。价格为每 100 万输入 token $0.15,每 100 万输出 token $0.50,详见 定价页面。
使用试用密钥尝试
使用 Google 或电子邮件和密码创建账户,然后打开 API 密钥页面。新用户只需点击一下即可领取 $0.50 的试用额度。有效期为 7 天,无需卡片,足以多次运行上述脚本。
一旦获得结果,请并排比较它们。保留每次运行的输出,并添加对你重要的列:在你样本提示词上的拒绝情况、在你的网络上的首个 token 生成时间,以及在各提供商当前价格下同一提示词集的成本。
更多指南
常见问题
OpenAI 兼容是否等同于 OpenAI?
不。这意味着该接口接受相同的请求格式,因此在更改基础 URL 和密钥后,OpenAI SDK 即可使用。其背后的模型可能完全不同。
在此处使用 OpenAI SDK 时,我应该使用哪个 Base URL?
使用 https://api.modelapis.cc/v1 作为 Base URL,你的密钥作为 Bearer 令牌,uncensored 作为模型 ID。
SDK 的 stream 选项是否支持流式输出?
支持。将 stream 设置为 true 并按常规方式读取服务器发送事件;使用情况将在流结束时发送。
如何从代码中检查余额?
在任何调用中读取 X-Balance-USD 响应头,或请求 GET /v1/balance 或位于 /v1/dashboard/billing 下的 OpenAI 风格 credit_grants 路径。