KO ▾

모델 API: 호스팅과 자체 호스팅 LLM 비교

모델 API는 프롬프트를 받아 모델의 답변을 반환하는 웹 엔드포인트로, 가중치를 직접 구동할 필요가 없습니다. 이 페이지에서는 옵션, 트레이드오프 및 토큰 기반 엔드포인트가 더 적합한 상황을 설명합니다.

클라우드 서버에서 노트북으로 유리 파이프라인을 흐르는 빛나는 토큰들, 그 사이에 계량기가 있음

마지막 업데이트:

모델 API의 실제 정의

모델 API는 평범한 HTTP 요청 뒤에 대규모 신경망을 숨깁니다. 메시지 목록을 전송하면 서버가 자체 하드웨어에서 모델을 실행하고, 생성된 텍스트를 JSON 또는 스트림으로 돌려줍니다. 코드에서 가중치, 드라이버 또는 CUDA에 직접 접근할 필요가 없습니다. 사람들이 모델 apis를 검색할 때 원하는 계약은 안정적인 URL, 인증 헤더 및 예측 가능한 청구입니다.

엔드포인트의 실제 사용감은 두 가지 세부 사항에 따라 결정됩니다. 첫 번째는 전송 형식입니다. 대부분의 도구는 현재 OpenAI 채팅 형식을 사용하므로 이를 복사한 엔드포인트는 기존 SDK, 프레임워크 및 채팅 프론트엔드와 함께 작동합니다. 두 번째는 URL 뒤에 있는 모델입니다: 모델의 크기, 컨텍스트 창 및 민감한 요청 처리 방식입니다. 전송 형식은 비교하기 쉽습니다. 모델의 동작은 실제 테스트가 필요합니다.

모델 API는 청구 관계이기도 합니다. 기계 하나를 소유하는 대신 토큰으로 측정되는 추론 시간을 임대합니다. 이 하나의 변화로 비용이 고정된 월별 금액에서 트래픽에 따라 변동하는 금액으로 바뀝니다.

나머지 모든 사항에 영향을 미치는 또 다른 속성은 API가 상태가 없다는 것입니다. 서버는 호출 간 대화의 메모리를 유지하지 않습니다. 모델이 마지막 다섯 개의 메시지를 기억하게 하려면 코드에서 다음 요청과 함께 해당 다섯 메시지를 모두 전송해야 합니다. 이것이 채팅이 진행됨에 따라 토큰 수가 증가하는 이유이며, 이력 관리 방식이 청구서에 영향을 미치는 이유입니다.

모델에서 답변을 얻는 세 가지 방법

세 가지 일반적인 설정이 있으며, 각각 다른 팀에 적합합니다.

옵션직접 실행하는 경우다음에 대해 비용을 지불합니다:최적의 경우
모델 제작사의 벤더 API없음토큰, 벤더의 가격표 기준해당 벤더의 특정 모델이 필요한 경우
호스팅된 오픈 웨이트 엔드포인트없음토큰, 호스트의 가격표 기준운영하지 않고 오픈 모델을 원하는 경우
자체 GPU에서 자체 호스팅모든 항목하드웨어, 전력, 귀하의 시간완전한 제어권 또는 오프라인 사용이 필요한 경우

가운데 행이 이 사이트의 위치입니다. 우리는 독립적인 제공업체가 운영하는 오픈 웨이트 모델 하나를 호스팅하며, OpenAI 호환 인터페이스를 통해 노출합니다. 이는 어떤 모델 벤더의 공식 API가 아니며 벤더 간 라우팅도 수행하지 않습니다. 특정 벤더의 모델이 필요하면 해당 벤더로 가십시오. 합법적인 성인 사용에 콘텐츠 거부 없이 답변하는 오픈 모델이 필요하면 호스팅된 오픈 웨이트 엔드포인트가 가장 빠른 경로입니다.

자체 호스팅의 실제 비용

모델을 직접 실행하는 것은 다운로드가 완료된 후에야 무료처럼 보이며, 이것이 많은 초기 프로젝트를 끌어들이는 이유입니다. 비용은 나중에 세 가지 장소에서 나타납니다.

메모리 및 하드웨어

모델은 프롬프트를 위한 작업 캐시와 함께 GPU 메모리에 맞아야 합니다. 더 큰 모델과 더 긴 컨텍스트는 더 많은 메모리가 필요하며, 캐시는 동시 요청마다 증가합니다. 한 사용자에게 빠른 설정도 열 사람이 동시에 메시지를 보내면 멈출 수 있습니다.

운영

서버를 가동하고 추론 소프트웨어를 업데이트하며, 메모리 부족 충돌을 모니터링하고 GPU가 바쁠 때의 처리 방식을 결정할 누군가가 필요합니다. 그 누군가는 보통 야간에 타임아웃이 보고될 때의 당신입니다.

유휴 시간

GPU는 시간당 하나의 요청에 응답하든 초당 하나의 요청에 응답하든 비용이 동일합니다. 불규칙한 트래픽을 가진 작은 앱은 유휴 실리콘에 대해 많은 비용을 지불합니다. Ollama와 같은 로컬 도구는 개발과 개인 실험에 탁월하며, 일반적인 Ollama API 실수에 대한 기사는 프로덕션 코드를 연결할 때 사람들이 직면하는 문제들을 다룹니다.

모델 API 계약서 읽기

어떤 엔드포인트를 선택하기 전에 다음 다섯 가지 사실을 확인하세요: 기본 URL, 모델 ID, 인증 방식, 사용 가능한 메서드 및 한도입니다. 이 서비스의 경우 목록이 매우 짧습니다.

  • Base URL: https://api.modelapis.cc/v1
  • 모델 ID: uncensored
  • 인증: Authorization: Bearer YOUR_API_KEY
  • 메서드: POST /v1/chat/completions, POST /v1/responses, GET /v1/models
  • 컨텍스트: 100,000 토큰, 프롬프트와 결과 합산

이러한 정보를 바탕으로 첫 번째 호출은 표준 OpenAI Python SDK의 몇 줄로 가능합니다:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.modelapis.cc/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a token is in two sentences."}],
)
print(reply.choices[0].message.content)
print(reply.usage)

usage 필드는 처음부터 출력할 가치가 있습니다. 이 필드는 호출에 사용된 입력 및 출력 토큰의 정확한 수를 알려주며, 이는 청구 금액의 기준이 되는 숫자입니다. 전체 파라미터 설명은 API 문서에서 확인할 수 있습니다.

토큰 단위 과금 방식

청구에는 두 가지 기준이 있습니다. 입력 토큰은 시스템 프롬프트, 대화 기록 및 새 메시지를 포함한 모든 전송 데이터를 의미합니다. 출력 토큰은 모델이 작성하여 돌려보내는 내용을 의미합니다. 여기서 요금은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며, 구독 없이 선불 크레딧에서 차감됩니다.

계산 예시: 채팅 턴에서 2,000개의 입력 토큰을 전송하고 500개의 출력 토큰을 받습니다.

  • 입력: 2,000 / 1,000,000 x $0.15 = $0.0003
  • 출력: 500 / 1,000,000 x $0.50 = $0.00025
  • 총 비용: 턴당 $0.00055, 또는 1,000턴당 $0.55

실패하거나 거부된 요청은 요금이 부과되지 않으며, 크레딧은 만료되지 않으므로 빌드하는 동안 잔액이 감소하지 않습니다. 요금 페이지에는 $20부터 $500까지의 충전 금액과 등급별 보너스가 나열되어 있습니다. 결제는 암호화폐(USDT on TRC20 또는 USDC on Base)로만 가능합니다.

다른 제공업체와 비교하려면 해당 제공업체의 입력 및 출력 가격을 해당 페이지에서 확인하고 동일한 두 줄의 산술을 실행하세요. 기사에 복사된 숫자에 의존하기보다는 목록 가격이 변경될 수 있으므로 최신 요금을 확인하세요.

호스팅된 엔드포인트로 기존 코드 이동

앱이 이미 로컬 런타임 또는 다른 OpenAI 스타일 서비스와 연결한다면, 전환은 재작성이 아닌 구성 변경입니다. 세 가지 변수 부분을 환경 변수에 넣으세요:

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.modelapis.cc/v1"),
    api_key=os.environ.get("LLM_API_KEY", "YOUR_API_KEY"),
)
MODEL = os.environ.get("LLM_MODEL", "uncensored")

reply = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Ping"}],
)
print(reply.choices[0].message.content)

Ollama를 사용한 로컬 개발 시 자체 OpenAI 스타일 라우트를 제공하므로, LLM_BASE_URL을 로컬 주소로 설정하고 LLM_MODEL을 로컬 모델 이름으로 설정하세요. 프로덕션에서는 기본값을 그대로 유지하세요. 동일한 코드 경로가 두 곳에서 모두 실행되므로 로직을 변경하지 않고도 오프라인에서 프로토타입을 만들고 호스팅된 모델에 배포하기가 쉽습니다.

전환 후 실제 프롬프트로 테스트를 다시 실행하세요. 출력 스타일, 길이 및 거부 동작은 프로토콜이 아닌 모델에 따라 달라지므로, 통합 테스트가 통과했다고 해서 답변이 제품에 필요한 것임을 의미하지는 않습니다.

토큰 단위 엔드포인트가 유리한 경우

호스팅된 토큰 단위 액세스는 다음과 같은 네 가지 상황에서 자체 GPU보다 우위에 있습니다:

  1. 불규칙한 트래픽. 사이드 프로젝트, Discord 봇 또는 몇십 명의 사용자를 가진 베타 버전은 누군가가 메시지를 보낼 때만 비용을 지출합니다.
  2. 운영 인력 부족. 팀에 추론 서버를 관리하고 싶은 사람이 없다면, 임대 비용이 아끼는 시간의 비용보다 더 저렴합니다.
  3. 기존 OpenAI 코드. 전환은 기본 URL과 키 변경으로 끝납니다. SDK, 재시도 로직 및 테스트는 그대로 유지됩니다.
  4. 프로토타입 속도. 하드웨어를 구매하기 전에 오후 몇 시간 안에 모델의 동작이 제품에 적합한지 테스트할 수 있습니다.

부하가 일정하고 GPU를 하루 종일 바쁘게 유지할 만큼 충분히 무겁거나, 데이터가 네트워크를 벗어나지 말아야 하거나, 이 서비스가 제공하지 않는 기능이 필요한 경우 불리합니다. 우리는 텍스트 전용입니다: 이미지, 오디오 또는 비디오 생성, 임베딩 및 파인튜닝이 없습니다. 이러한 경우 이 도구 옆에 다른 도구를 사용하세요.

선택하기 전 체크리스트

  1. 스트리밍 및 도구 호출을 포함하여 OpenAI 형식을 지원하나요? 클라이언트 코드를 변경하지 않고 사용할 수 있어야 합니다.
  2. 모델 ID가 안정적인가요? 모델을 운영하는 주체가 명확한가요?
  3. 컨텍스트 창은 무엇이며, 출력은 프롬프트와 컨텍스트 창을 공유합니까?
  4. 속도 제한 및 동시 요청 한도는 무엇이며, API는 이를 초과했을 때 무엇을 반환합니까?
  5. 실패한 요청에 대해 요금을 부과하나요?
  6. 프롬프트는 어떻게 처리되나요? 여기서는 학습용으로 사용되지 않습니다.
  7. 어떻게 결제하며, 소액으로 시작할 수 있습니까? 새 계정은 API 키 페이지에서 한 번의 클릭으로 카드 없이 $0.50의 체험 크레딧을 청구할 수 있습니다.

결정하기 전에 실제 프롬프트로 10분 테스트를 실행하세요. 자체 콘텐츠에 대한 모델의 동작은 어떤 기능 목록보다 더 많은 정보를 제공합니다.

프라이버시 및 키

호스팅된 API는 프롬프트가 타사의 서버로 이동한다는 것을 의미합니다. 이는 자체 머신에서 모델을 실행하는 것과 비교하여 포기해야 하는 주요 사항이며, 의도적인 선택이어야 합니다. 여기서는 프롬프트가 학습에 사용되지 않습니다. 그럼에도 불구하고 모든 요청을 네트워크를 떠나는 데이터로 간주하세요: 이유와 권한이 있는 경우를 제외하고 비밀, 개인 키 또는 타인의 개인 데이터를 보내지 마세요.

키는 세심한 관리가 필요합니다. API 키 페이지에서 언제든지 키를 재생성할 수 있으며, 이전 키는 즉시 사용이 중단됩니다. 충전된 계정은 최대 5개의 키를 보유할 수 있으며, 레이블을 지정하고 그중 하나를 취소할 수 있으므로 각 앱이나 환경에 고유한 키를 부여하세요. 키가 유출되면 몇 초 만에 교체할 수 있으며 다른 영향은 없습니다.

자주 묻는 질문

모델 API란 무엇인가요?

모델 API는 프롬프트 또는 메시지 목록을 받아 언어 모델이 생성한 텍스트를 반환하는 HTTP 엔드포인트입니다. 자체 하드웨어에서 모델을 실행하는 대신 토큰당 요금을 지불합니다.

호스팅된 API가 로컬 모델 실행보다 저렴합니까?

소규모 또는 불규칙한 트래픽의 경우 일반적으로 저렴합니다. 사용된 토큰에 대해서만 요금이 부과되며 유휴 GPU 시간 비용이 발생하지 않기 때문입니다. 이미 보유한 하드웨어에서 일정하고 높은 부하가 발생하면 로컬 실행이 더 저렴할 수 있습니다.

OpenAI SDK를 이 API와 함께 사용할 수 있나요?

네. 기본 URL을 https://api.modelapis.cc/v1로 설정하고 키를 Bearer 토큰으로 사용하며 모델을 uncensored로 설정하세요.

엔드포인트가 이미지 또는 임베딩을 처리하나요?

아니요. 텍스트 전용이며 채팅 완료, 응답 메서드 및 모델 목록만 제공합니다.

키를 즉시 사용하세요

가입하고 키를 받은 후 베이스 URL을 업데이트하세요. 그뿐입니다.

API 키 생성문서 보기