模型 API:托管与自托管 LLM 详解
模型 API 是接收提示词并返回模型答案的 Web 接口,这样你无需自行运行权重。本页解释了各种选项、权衡以及为何按 token 计费的接口是更好的选择。

模型 API 实际上是什么
模型 API 将大型神经网络隐藏在普通的 HTTP 请求背后。你提交消息列表,服务器在自己的硬件上运行模型,并以 JSON 或流式输出返回生成的文本。你的代码无需接触权重、驱动程序或 CUDA。当人们搜索模型 API 时,他们想要的合同是:稳定的 URL、认证头和可预测的账单。
两个细节决定了接口在实际中的体验。首先是传输格式。如今大多数工具都使用 OpenAI 聊天格式,因此复制该格式的接口可与现有 SDK、框架和聊天前端配合使用。其次是 URL 背后的模型:其大小、上下文窗口以及如何处理敏感请求。传输格式易于比较。模型的行为需要实际测试。
模型 API 也是一种计费关系。你租用的推理时间以 token 衡量,而不是拥有一台机器。这一变化将成本从固定的月度数字变为跟随你流量的数字。
另一个影响后续所有内容的属性是:API 是无状态的。服务器不会在调用之间记住你的对话。如果你希望模型记住最后五条消息,你的代码需要在下次请求时再次发送这五条消息。这就是随着聊天进行 token 计数增加的原因,以及你管理历史的方式决定账单的原因。
获取模型答案的三种方式
有三种常见的设置,每种适合不同的团队。
| 选项 | 你运行 | 你为以下项目付费 | 最佳适用场景 |
|---|---|---|---|
| 模型制造商的供应商 API | 无 | 按供应商价格列表的 token | 你需要该供应商的特定模型 |
| 托管开放权重接口 | 无 | 按托管方价格列表的 token | 你想要开放模型而无需自行操作 |
| 在自己的 GPU 上自托管 | 一切 | 硬件、电力、你的时间 | 你需要完全控制或离线使用 |
中间行是本网站所在的位置。我们托管一个开放权重模型,由独立提供商运行,并通过兼容 OpenAI 的接口暴露。它不是任何模型供应商的官方 API,也不在供应商之间路由。如果你需要特定供应商的模型,请前往该供应商。如果你需要一个在不拒绝内容的情况下为合法成人用途提供答案的开放模型,托管开放权重接口是捷径。
自托管的真实成本
模型下载完成后,自行运行模型看似免费,这也是它吸引许多入门项目的原因。成本会在之后显现,主要体现在三个方面。
内存和硬件
模型必须连同其用于提示词的工作缓存一起适应 GPU 内存。较大的模型和较长的上下文需要更多的内存,且缓存会随着每次并发请求而增长。对单个用户而言感觉快速的设置,在十个人同时发送消息时可能会停滞。
操作
必须有人保持服务器运行,更新推理软件,监控内存不足崩溃,并决定当 GPU 忙碌时该怎么做。那个人通常是你,在夜间,当用户报告超时时。
空闲时间
GPU 的成本是固定的,无论它每小时处理一个请求还是每秒处理一个请求。流量不稳定的小型应用会因大量闲置的硬件而付费。Ollama 等本地工具非常适合开发和私有实验,我们的Ollama API 常见错误一文涵盖了将生产代码指向它们时遇到的问题。
阅读模型 API 契约
在承诺任何接口之前,收集五个事实:Base URL、模型 ID、认证方式、存在哪些方法以及限制是什么。对于此服务,它们很简单。
- Base URL:
https://api.modelapis.cc/v1 - 模型 ID:
uncensored - 认证:
Authorization: Bearer YOUR_API_KEY - 方法:
POST /v1/chat/completions、POST /v1/responses、GET /v1/models - 上下文:100,000 个 token,提示词和补全总计
有了这些,第一次调用只需要几行标准的 OpenAI Python SDK 代码:
from openai import OpenAI
client = OpenAI(
base_url="https://api.modelapis.cc/v1",
api_key="YOUR_API_KEY",
)
reply = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain what a token is in two sentences."}],
)
print(reply.choices[0].message.content)
print(reply.usage)
usage字段值得从一开始就打印出来。它告诉你调用使用了多少输入和输出 token,这是你账单的基础数字。完整参数说明在API 文档中。
按 token 计费的工作原理
计费包含两个计量器。输入 token 包括你发送的所有内容:系统提示词、对话历史和新消息。输出 token 是模型返回的内容。此处的费率为每 100 万输入 token $0.15,每 100 万输出 token $0.50,从预付额度中扣除,无订阅费用。
一个已计算好的示例:一次对话轮次发送 2,000 个输入 token 并接收 500 个输出 token。
- 输入:2,000 / 1,000,000 x $0.15 = $0.0003
- 输出:500 / 1,000,000 x $0.50 = $0.00025
- 总计:每轮 $0.00055,或每 1,000 轮 $0.55
失败或被拒绝的请求不收费,且额度永不失效,因此在你构建应用时,小额余额不会因时间流逝而减少。定价页面列出了从 $20 到 $500 的充值金额及奖励层级。仅支持加密货币支付(TRC20 上的 USDT 或 Base 上的 USDC)。
如果你想与另一个提供商进行比较,请从他们的页面获取输入和输出价格,并进行同样的两行算术运算。查看他们当前的定价,而不是依赖文章中复制的数字,因为列表价格会发生变化。
将现有代码迁移到托管接口
如果你的应用已经与本地运行时或其他 OpenAI 风格的服务交互,切换只需更改配置,无需重写。将三个变量部分放入环境变量中:
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.modelapis.cc/v1"),
api_key=os.environ.get("LLM_API_KEY", "YOUR_API_KEY"),
)
MODEL = os.environ.get("LLM_MODEL", "uncensored")
reply = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": "Ping"}],
)
print(reply.choices[0].message.content)
对于使用 Ollama 的本地开发,它提供了自己的 OpenAI 风格接口,请将 LLM_BASE_URL 设置为你的本地地址,并将 LLM_MODEL 设置为本地模型名称。在生产环境中保留默认值。相同的代码路径在两地运行,这使得离线原型设计和部署到托管模型变得容易,且无需修改逻辑。
切换后,重新运行你的测试,使用真实的提示词。输出风格、长度和拒绝行为取决于模型,而不是协议,因此通过集成测试并不告诉你答案是否是你产品所需要的。
按 token 计费的接口在何时胜出
托管的按 token 计费接口通常在以下四种情况下优于你自己的 GPU:
- 流量不均。 个人项目、Discord 机器人或拥有几十名用户的测试版,仅在有人发送消息时花费资金。
- 无操作能力。 如果团队中没有人愿意照看推理服务器,租用比节省的时间成本更低。
- 现有的 OpenAI 代码。 切换只需更改基础 URL 和密钥。你保留自己的 SDK、重试逻辑和测试。
- 原型速度。 你可以在购买任何硬件之前,在一个下午内测试模型的行为是否适合你的产品。
当你的负载恒定且足够大,足以让 GPU 全天候忙碌,或者数据不能离开你的网络,或者你需要该服务未提供的功能时,托管方案会处于劣势。我们仅支持文本:不支持图像、音频或视频生成,不支持嵌入向量,也不支持微调。对于这些需求,请配合使用其他工具。
选择前的检查清单
- 它是否支持 OpenAI 格式,包括流式输出和函数调用,以便你的客户端代码保持不变?
- 模型 ID 是否稳定,以及是否清楚谁在运行该模型?
- 上下文窗口是什么,生成的内容是否与提示词共享该窗口?
- 速率和并发限制是什么,当你达到这些限制时 API 返回什么?
- 你是否为失败的请求付费?
- 提示词如何处理?在此服务中,它们不用于训练。
- 你如何支付,以及能否从小额开始?新账户可以在 API 密钥页面 一键领取 $0.50 的试用额度,无需信用卡。
在做出决定之前,使用你的真实提示词运行十分钟测试。在你自己的内容上的表现比任何功能列表都能告诉你更多信息。
隐私和密钥
托管 API 意味着你的提示词会发送到别人的服务器。与在你自己的机器上运行模型相比,这是你主要放弃的东西,这应该是一个有意识的选择。在这里,提示词不会用于训练。即便如此,将每个请求视为离开你网络的数据:除非你有理由和权利这样做,否则不要发送机密、私钥或其他人的个人数据。
密钥值得同样的保护。你可以随时从 API 密钥页面 重新生成密钥,旧密钥会立即失效。已充值的账户最多可持有 5 个密钥,可以标记它们并撤销其中任何一个,因此请为每个应用或环境分配一个单独的密钥。如果一个泄露,你可以在几秒钟内替换它,且不会影响其他部分。
更多指南
常见问题
什么是模型 API?
模型 API 是一个 HTTP 接口,接受提示词或消息列表,并返回由语言模型生成的文本。你按 token 付费,而不是在自己的硬件上运行模型。
托管 API 比本地运行模型更便宜吗?
对于小型或不均衡的流量,通常是这样,因为你只为使用的 token 付费,并且没有空闲的 GPU 时间。对于你已经拥有的硬件的持续高负载,本地部署的成本可能更低。
我可以使用 OpenAI SDK 吗?
是的。将 Base URL 设置为 https://api.modelapis.cc/v1,将你的 API 密钥用作 Bearer 令牌,并将模型设置为 uncensored。
该端点是否处理图像或嵌入?
不。它仅支持文本,包括聊天补全、responses 方法和模型列表。