中文 ▾

哪些模型 API 兼容 OpenAI SDK?

搜索“model apis api compatible with openai”通常意味着一件事:你想保留 OpenAI 客户端代码,仅更改其指向位置。兼容性是分等级的,因此以下是你需要检查的内容以及一个自动检查的脚本。

一个连接多种不同插座的转换插头,代表兼容 OpenAI 的接口

最后更新于

实际意义上的兼容

OpenAI SDK 是可配置的。它们接受 base_url 和 API 密钥,以已知格式构建请求并以已知格式解析回复。任何接受该格式并以该格式回复的服务都能与 SDK 配合使用。这就是其核心理念,也是许多提供商复制该格式的原因。

问题在于,复制一种方法的格式并不意味着复制其他方法。一个接口可能很好地处理 /chat/completions 但跳过函数调用,流式输出时没有最终的使用量块,或以你的重试代码无法识别的不同结构返回错误。SDK 不会警告你,它只会在生产环境中抛出异常。

因此,将兼容性视为一系列独立的功能,并逐一测试。

值得测试的功能

将此表作为任何候选服务的检查清单。右列显示此服务的文档内容,以便你查看检查在实际中呈现的样子。

功能为什么重要此服务
聊天补全大多数应用使用的核心方法是,POST /v1/chat/completions
Responses 方法较新的 OpenAI 客户端使用它是,POST /v1/responses
模型列表许多工具在启动时调用它是,GET /v1/models
流式输出 (SSE)聊天 UI 需要是,使用情况在最后到达
函数调用Agents 和 function calls是,包括流式 function calling
JSON 模式供解析器使用的结构化输出是,json_object
采样参数调优风格和重复temperature、top_p、stop、seed、penalties
速率限制信号让客户端正确退避HTTP 429,代码 rate_limited 和 concurrency
余额可见性避免意外停机X-Balance-USD 头和余额接口

添加表格无法显示的两项内容:上下文窗口和模型在你自己的提示词上的行为。此处的窗口为 100,000 tokens,用于 prompt 加 completion。

一个测试任意接口的脚本

下面的脚本针对你提供的任意 base URL 运行五项检查:模型列表、普通 chat 调用、streaming、JSON mode 和强制 function calling。默认值指向此服务,两个环境变量可替换为其他提供商,以便你对每个候选接口运行相同的测试。

import json
import os

from openai import OpenAI

BASE_URL = os.environ.get("API_BASE", "https://api.modelapis.cc/v1")
MODEL = os.environ.get("API_MODEL", "uncensored")
client = OpenAI(base_url=BASE_URL, api_key=os.environ["API_KEY"])
ASK = [{"role": "user", "content": "Reply with the single word: ready"}]


def check_models():
    assert client.models.list().data, "empty model list"


def check_chat():
    r = client.chat.completions.create(model=MODEL, messages=ASK, max_tokens=20)
    assert r.choices[0].message.content
    assert r.usage and r.usage.total_tokens > 0, "no usage block"


def check_stream():
    s = client.chat.completions.create(model=MODEL, messages=ASK, stream=True)
    text = "".join(c.choices[0].delta.content or "" for c in s if c.choices)
    assert text


def check_json():
    r = client.chat.completions.create(
        model=MODEL,
        messages=[{"role": "user", "content": "Return a JSON object with key ok set to true."}],
        response_format={"type": "json_object"},
    )
    assert json.loads(r.choices[0].message.content)


def check_tools():
    tools = [{"type": "function", "function": {
        "name": "get_time", "description": "Get the current time",
        "parameters": {"type": "object", "properties": {}}}}]
    r = client.chat.completions.create(
        model=MODEL, messages=ASK, tools=tools,
        tool_choice={"type": "function", "function": {"name": "get_time"}})
    assert r.choices[0].message.tool_calls, "no tool call returned"


for fn in (check_models, check_chat, check_stream, check_json, check_tools):
    try:
        fn()
        print("ok  ", fn.__name__)
    except Exception as e:
        print("FAIL", fn.__name__, type(e).__name__, str(e)[:100])

使用 API_KEY=... python check.py 运行它。某一行失败会准确告诉你应向提供商询问哪个功能。运行顺利并不能证明质量,但它证明你的客户端代码不会出错。

如何解读结果

每一行都显示 ok 意味着 SDK 无误地解析了所有响应结构。仅 check_tools 失败通常意味着接口忽略 tools 或模型不能可靠地调用它们。check_json 失败通常意味着答案包裹在散文或代码块中。check_stream 失败可能是代理缓冲了事件、缺少最终块或接口根本不发送 delta 内容。

运行脚本两次。第一次运行了解支持情况,第二次运行(间隔几秒)了解稳定性。还要在你应用运行的机器上运行它,因为网络和代理会改变流式输出的表现。

测试 Responses 方法

较新的 OpenAI 客户端代码越来越多地调用 Responses 方法而不是聊天补全。此服务接受 POST /v1/responses,因此同一客户端可以使用任一方法。并非所有兼容的提供商都实现了它,因此值得单独检查:

from openai import OpenAI

client = OpenAI(base_url="https://api.modelapis.cc/v1", api_key="YOUR_API_KEY")

r = client.responses.create(
    model="uncensored",
    input="List three checks for an OpenAI-compatible endpoint.",
)
print(r.output_text)

如果提供商在此处返回 404 但通过了 chat 测试,你的旧代码没问题,但依赖此方法的新 SDK 功能将不可用。在选择之前,决定哪些工具需要它。

兼容接口通常存在的差异

错误处理

速率限制是最常见的意外情况。当每分钟请求过多时,此 API 返回 HTTP 429 错误,错误码为 rate_limited;当并发请求过多时,返回错误码为 concurrency。在临时过载时,它会返回 429 状态码并附带 Retry-After: 5 头。其他提供商可能使用不同的错误码或没有错误码,因此请针对每种情况测试你的退避逻辑。

限制

在此处,完整密钥允许 8 个并发请求和每分钟 300 个请求,而试用密钥允许 2 个并发请求和每分钟 60 个请求。流式请求会占用并发槽位,直到流结束,这对聊天应用很重要。请求体上限为 8 MB。

模型命名

某些服务接受任何字符串作为模型名称并静默映射。其他服务则拒绝未知名称。在此处你传入 uncensored,详细信息列在 文档中。

行为

两个兼容的接口对同一提示词可能给出截然不同的回答。此服务运行一个开放权重模型,针对合法成人用途进行了优化,禁止涉及未成年人的性内容。主流厂商的模型会拒绝更多内容。两者都没有错,但适合不同的产品。

一种实用的决策方法是列出必须满足的三个要求(例如流式输出、函数调用和可识别的 429 错误),对每个候选者运行脚本,并排除任何失败者。在幸存者中,根据你的 token 组合比较价格,并在你自己的提示词上比较行为。这个顺序可以节省时间,因为功能差距很容易发现,而对于无法运行你代码的接口,进行成本比较并不值得。

当另一个选项更合适时

我们并不试图成为所有查询的答案。当出现以下情况时,请选择其他服务:

  • 你需要图像、音频或视频生成、嵌入或微调。此服务仅支持文本。
  • 你需要特定厂商模型的输出。我们不是任何厂商的官方 API,也不跨厂商路由。
  • 你的政策要求企业合同或特定的合规认证。我们在此不对此做出任何声明。

当你想要一个用于合法成人用途、无内容拒绝的开放权重聊天模型,具有 OpenAI 风格的接口并按 token 计费时,请选择此接口。价格为每 100 万输入 token $0.15,每 100 万输出 token $0.50,详见 定价页面。

使用试用密钥尝试

使用 Google 或电子邮件和密码创建账户,然后打开 API 密钥页面。新用户只需点击一下即可领取 $0.50 的试用额度。有效期为 7 天,无需卡片,足以多次运行上述脚本。

一旦获得结果,请并排比较它们。保留每次运行的输出,并添加对你重要的列:在你样本提示词上的拒绝情况、在你的网络上的首个 token 生成时间,以及在各提供商当前价格下同一提示词集的成本。

常见问题

OpenAI 兼容是否等同于 OpenAI?

不。这意味着该接口接受相同的请求格式,因此在更改基础 URL 和密钥后,OpenAI SDK 即可使用。其背后的模型可能完全不同。

在此处使用 OpenAI SDK 时,我应该使用哪个 Base URL?

使用 https://api.modelapis.cc/v1 作为 Base URL,你的密钥作为 Bearer 令牌,uncensored 作为模型 ID。

SDK 的 stream 选项是否支持流式输出?

支持。将 stream 设置为 true 并按常规方式读取服务器发送事件;使用情况将在流结束时发送。

如何从代码中检查余额?

在任何调用中读取 X-Balance-USD 响应头,或请求 GET /v1/balance 或位于 /v1/dashboard/billing 下的 OpenAI 风格 credit_grants 路径。

即时获取密钥

注册,获取密钥,更新 Base URL。仅此而已。

创建密钥查看文档