RU ▾

API моделей: хостинг против самостоятельного развертывания LLM

API моделей — это веб-эндпоинты, которые принимают промпт и возвращают ответ модели, так что вам не нужно самостоятельно управлять весами. На этой странице объясняются варианты, компромиссы и когда эндпоинт с оплатой за токен подходит лучше.

Светящиеся токены, протекающие через стеклянную трубу от облачного сервера к ноутбуку с измерительным прибором между ними

Последнее обновление

Что на самом деле представляет собой API модели

API модели скрывает большую нейронную сеть за простым HTTP-запросом. Вы отправляете список сообщений, сервер запускает модель на своём оборудовании, и вы получаете сгенерированный текст в формате JSON или в виде потока. Ваш код никогда не работает с весами, драйверами или CUDA. Когда разработчики ищут API моделей, они хотят именно такого контракта: стабильный URL, заголовок аутентификации и предсказуемый счёт.

Две детали определяют, как эндпоинт ощущается на практике. Первая — это формат передачи данных. Большинство инструментов сегодня используют формат чата OpenAI, поэтому эндпоинт, его копирующий, работает с существующими SDK, фреймворками и интерфейсами чатов. Вторая — модель за URL: её размер, контекстное окно и то, как она обрабатывает чувствительные запросы. Формат передачи данных легко сравнить. Поведение модели требует реального тестирования.

API модели — это также отношения по биллингу. Вы арендуете время инференса, измеряемое в токенах, вместо владения машиной. Это одно изменение переносит расходы из фиксированной ежемесячной суммы в величину, которая следует за вашим трафиком.

Ещё одно свойство определяет всё, что следует далее: API не имеет состояния. Сервер не запоминает ваш разговор между вызовами. Если вы хотите, чтобы модель помнила последние пять сообщений, ваш код отправляет все пять снова вместе со следующим запросом. Именно поэтому количество токенов растёт по мере развития чата, и именно то, как вы управляете историей, определяет ваш счёт.

Три способа получить ответ от модели

Существует три распространённых варианта, и каждый подходит для разной команды.

ВариантВы запускаетеВы платите заЛучше всего, когда
API вендора от создателя моделиНичегоТокены по прайс-листу вендораВам нужна конкретная модель этого вендора
Хостинг открытой моделиНичегоТокены по прайс-листу хостаВам нужна открытая модель без её обслуживания
Самостоятельный хостинг на вашем GPUВсёОборудование, электричество, ваше времяВам нужен полный контроль или автономная работа

Средняя строка — это то место, где находится этот сайт. Мы хостим одну модель с открытыми весами, запущенную независимым провайдером, и предоставляем к ней доступ через интерфейс, совместимый с OpenAI. Это не официальный API какой-либо модели вендора, и он не маршрутизирует запросы между вендорами. Если вам нужна модель конкретного вендора, обратитесь к этому вендору. Если вам нужна открытая модель, которая отвечает без отказов по контенту для законного использования взрослыми, хостинг открытой модели — это короткий путь.

Реальная стоимость самостоятельного хостинга

Запуск модели самостоятельно выглядит бесплатным после завершения загрузки, поэтому он привлекает так много первых проектов. Расходы проявляются позже, в трёх местах.

Память и оборудование

Модель должна помещаться в память GPU вместе с рабочим кэшем для промпта. Более крупные модели и длинные контексты требуют больше памяти, а кэш растёт с каждым параллельным запросом. Конфигурация, которая кажется быстрой для одного пользователя, может зависнуть, когда десять человек отправят сообщения одновременно.

Операции

Кто-то должен поддерживать сервер, обновлять программное обеспечение для инференса, следить за ошибками переполнения памяти и решать, что делать, когда GPU занят. Этот кто-то — обычно вы, ночью, когда пользователь сообщает о таймауте.

Время простоя

GPU стоит одинаково, отвечает ли она на один запрос в час или на один в секунду. Небольшие приложения с неравномерным трафиком платят за много простаивающего кремния. Локальные инструменты, такие как Ollama, отлично подходят для разработки и частных экспериментов, а наша статья о распространённых ошибках API Ollama описывает проблемы, с которыми сталкиваются люди, когда подключают код для продакшена.

Чтение контракта API модели

Прежде чем выбрать любой эндпоинт, соберите пять фактов: базовый URL, идентификатор модели, как работает аутентификация, какие методы существуют и каковы их ограничения. Для этого сервиса они кратки.

  • Базовый URL: https://api.modelapis.cc/v1
  • Идентификатор модели: uncensored
  • Аутентификация: Authorization: Bearer YOUR_API_KEY
  • Методы: POST /v1/chat/completions, POST /v1/responses, GET /v1/models
  • Контекст: 100 000 токенов, промпт и ответ вместе

Имея эти данные, первый вызов занимает несколько строк стандартного Python SDK от OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.modelapis.cc/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a token is in two sentences."}],
)
print(reply.choices[0].message.content)
print(reply.usage)

Поле usage стоит выводить с первого дня. Оно показывает точное количество входных и выходных токенов, использованных в запросе, — именно на основе этого числа формируется ваш счёт. Полные примечания по параметрам доступны в API-документации.

Как работает оплата за токен

Система биллинга использует два счётчика. Входные токены — это всё, что вы отправляете: системный промпт, историю разговора и новое сообщение. Выходные токены — это то, что модель возвращает в ответ. Здесь тарифы составляют $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, которые списываются с предоплаченного баланса без подписки.

Проработанный пример: один ход чата отправляет 2 000 входных токенов и получает 500 выходных токенов.

  • Вход: 2 000 / 1 000 000 × $0,15 = $0,0003
  • Выход: 500 / 1 000 000 × $0,50 = $0,00025
  • Итого: $0,00055 за ход или $0,55 за 1 000 ходов

Запросы со сбоем или отклонённые не тарифицируются, а кредит никогда не истекает, поэтому небольшой остаток не уменьшается, пока вы разрабатываете. На странице тарифов указаны суммы пополнения от $20 до $500 и уровни бонусов. Оплата только криптовалютой (USDT в сети TRC20 или USDC в сети Base).

Если вы хотите сравнить с другим провайдером, возьмите их цены на входные и выходные данные с их собственной страницы и выполните те же две арифметические операции. Проверяйте их текущие тарифы, а не полагайтесь на число, скопированное в статью, потому что списочные цены меняются.

Перенос существующего кода на хостинговый эндпоинт

Если ваше приложение уже работает с локальным рантаймом или другим сервисом в стиле OpenAI, переключение — это изменение конфигурации, а не переписывание кода. Поместите три переменные части в переменные окружения:

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.modelapis.cc/v1"),
    api_key=os.environ.get("LLM_API_KEY", "YOUR_API_KEY"),
)
MODEL = os.environ.get("LLM_MODEL", "uncensored")

reply = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Ping"}],
)
print(reply.choices[0].message.content)

Для локальной разработки с Ollama, которая предоставляет собственный маршрут в стиле OpenAI, установите LLM_BASE_URL на адрес вашего локального сервера, а LLM_MODEL — на имя локальной модели. В продакшене оставьте значения по умолчанию. Один и тот же путь кода работает в обоих случаях, что упрощает прототипирование в автономном режиме и развёртывание к хостинговой модели без изменения логики.

После переключения запустите тесты с реальными промптами. Стиль вывода, длина и поведение при отказе зависят от модели, а не от протокола, поэтому успешный интеграционный тест не говорит вам, что ответы — это именно то, что нужно вашему продукту.

Когда выигрывает эндпоинт с оплатой за токен

Хостинговый доступ по токену обычно превосходит собственный GPU в четырёх ситуациях:

  1. Неравномерный трафик. Сайд-проект, Discord-бот или бета-версия с несколькими десятками пользователей тратят деньги только тогда, когда кто-то отправляет сообщение.
  2. Нет ресурсов Ops. Если никто в команде не хочет заниматься обслуживанием сервера инференса, аренда дешевле, чем стоимость сэкономленных часов.
  3. Существующий код OpenAI. Переключение — это смена базового URL и ключа. Вы сохраняете свой SDK, логику повторных попыток и тесты.
  4. Скорость прототипирования. Вы можете проверить, подходит ли поведение модели вашему продукту, за пару часов, прежде чем покупать какое-либо оборудование.

Он проигрывает, когда ваша нагрузка постоянна и достаточно велика, чтобы держать GPU занятым круглосуточно, когда данные не должны покидать вашу сеть или когда вам нужны функции, которые этот сервис не предлагает. Мы работаем только с текстом: нет генерации изображений, аудио или видео, нет эмбеддингов и нет дообучения. Для них используйте другой инструмент рядом с этим.

Чек-лист перед выбором

  1. Поддерживает ли он формат OpenAI, включая потоковую передачу и вызов функций, чтобы код клиента остался неизменным?
  2. Стабилен ли ID модели и понятно ли, кто запускает модель?
  3. Каково контекстное окно и делит ли ответ контекст с промптом?
  4. Каковы лимиты частоты и параллелизма, и что возвращает API, когда вы их достигаете?
  5. Оплачиваете ли вы неудачные запросы?
  6. Как обрабатываются промпты? Здесь они не используются для обучения.
  7. Как вы платите и можно ли начать с малых сумм? Новый аккаунт может получить $0,50 пробного баланса одним нажатием на странице API-ключей, без необходимости привязки карты.

Проведите десятиминутный тест с вашими реальными промптами перед принятием решения. Поведение на ваших собственных данных расскажет больше, чем любой список функций.

Конфиденциальность и ключи

Хостинговый API означает, что ваши промпты отправляются на сервер другой компании. Это главное, чем вы жертвуете по сравнению с запуском модели на своей машине, и это должно быть осознанным выбором. Здесь промпты не используются для обучения. Тем не менее, относитесь к каждому запросу как к данным, покидающим вашу сеть: не отправляйте секреты, приватные ключи или личные данные других людей, если у вас нет на то оснований и прав.

Ключи заслуживают такого же внимания. Вы можете регенерировать ключ в любое время на странице API-ключей, и старый перестанет работать сразу. Аккаунты с пополненным балансом могут хранить до 5 ключей, помечать их и отзывать любой из них, поэтому выделяйте отдельный ключ для каждого приложения или окружения. Если один утечет, вы замените его за секунды, и ничего другого не сломается.

Часто задаваемые вопросы

Что такое API модели?

API модели — это HTTP-эндпоинт, который принимает промпт или список сообщений и возвращает текст, сгенерированный языковой моделью. Вы платите за каждый токен, а не за запуск модели на собственном оборудовании.

Дешевле ли хостинг API, чем запуск модели локально?

При малом или неравномерном трафике это обычно так, потому что вы платите только за использованные токены и не несете расходов на простой GPU. При постоянной высокой нагрузке на оборудование, которое у вас уже есть, локальный запуск может стоить дешевле.

Могу ли я использовать SDK OpenAI с этим API?

Да. Установите базовый URL на https://api.modelapis.cc/v1, используйте ваш ключ в качестве Bearer-токена и установите модель в uncensored.

Поддерживает ли эндпоинт изображения или эмбеддинги?

Нет. Только текст, с chat completions, методом responses и списком моделей.

Получите ключ мгновенно

Зарегистрируйтесь, получите ключ, обновите базовый URL. Вот и всё.

Создать ключПосмотреть документацию