JA ▾

モデルAPI:ホスト型とセルフホスト型LLMの解説

モデルAPIは、プロンプトを受け取りモデルの回答を返すWebエンドポイントであり、重み(weights)を自分で実行する必要はありません。このページでは、選択肢、トレードオフ、そしてトークンごとの課金エンドポイントがより適している場合について説明します。

クラウドサーバーからメーターを介してラップトップへ流れるガラスパイプライン内の輝くトークン

最終更新日:

モデルAPIの実際の仕組み

モデルAPIは、シンプルなHTTPリクエストの背後に大規模なニューラルネットワークを隠しています。メッセージのリストを投稿すると、サーバーは独自のハードウェアでモデルを実行し、生成されたテキストをJSONまたはストリームとして返します。コードは重み、ドライバー、CUDAに関与しません。人々がモデルAPIを検索する際に求める契約とは、安定したURL、認証ヘッダー、そして予測可能な請求書のことです。

エンドポイントの実用上の挙動を決定する2つの詳細があります。1つ目はワイヤーフォーマットです。現在のほとんどのツールはOpenAIチャット形式をサポートしているため、それをコピーしたエンドポイントは既存のSDK、フレームワーク、チャットフロントエンドと連携します。2つ目はURLの背後にあるモデルです:そのサイズ、コンテキストウィンドウ、そして機密性の高いリクエストの扱い方です。ワイヤーフォーマットは比較が容易ですが、モデルの挙動には実際のテストが必要です。

モデルAPIは課金関係でもあります。あなたはマシンを所有するのではなく、トークン単位で推論時間をレンタルしています。この1つの変更により、コストは固定の月額数値から、トラフィックに連動する数値へと変化します。

さらに、続くすべての事柄に影響を与えるプロパティがあります:APIはステートレスであることです。サーバーは呼び出し間で会話のメモリを保持しません。最後の5つのメッセージをモデルに記憶させたい場合、コードは次のリクエストでそれら5つをすべて送信する必要があります。これがチャットが進むにつれてトークン数が増加する理由であり、履歴の管理方法が請求額を決定する理由です。

モデルから回答を得る3つの方法

3つの一般的なセットアップがあり、それぞれが異なるチームに適しています。

オプションあなたは実行しますあなたは以下に対して支払います最適なケース
モデルメーカーのベンダーAPIなしトークン(ベンダーの価格表に基づく)そのベンダー固有のモデルが必要です
ホスト型オープンウェイトエンドポイントなしトークン(ホストの価格表に基づく)操作せずにオープンモデルが必要です
独自のGPUでのセルフホスティングすべてハードウェア、電力、あなたの時間完全な制御権またはオフライン使用が必要です

中央の行が当サイトの位置です。当サイトは独立したプロバイダが操作する1つのオープンウェイトモデルをホスティングし、OpenAI互換のインターフェースで公開しています。これは任意のモデルベンダーの公式APIではなく、ベンダー間でルーティングもされません。特定のベンダーのモデルが必要な場合は、そのベンダーにアクセスしてください。法に則った成人向け用途でコンテンツ拒否なしで回答するオープンモデルが必要な場合、ホストされたオープンウェイトエンドポイントが最短の道です。

セルフホスティングの真のコスト

モデルを自前で実行することは、ダウンロードが完了した時点で無料に見えるため、多くの初期プロジェクトを引き付けます。コストは後で、3つの場所で現れます。

メモリとハードウェア

モデルは、プロンプトの動作キャッシュとともにGPUメモリに収まる必要があります。より大きなモデルや長いコンテキストはより多くのメモリを必要とし、キャッシュは同時実行中のリクエストごとに増大します。1人のユーザーには高速に感じられるセットアップも、10人が同時にメッセージを送信するとストールする可能性があります。

操作

サーバーの稼働維持、推論ソフトウェアの更新、メモリ不足クラッシュの監視、GPUが使用されているときの対応などを誰かが行う必要があります。通常、これはユーザーがタイムアウトを報告した夜中にあなたが行う作業です。

アイドル時間

GPUのコストは、1時間に1回のリクエストに応える場合でも1秒に1回のリクエストに応える場合でも同じです。不規則なトラフィックの小さなアプリは、アイドル状態のGPU時間に対して多額を支払うことになります。Ollamaなどのローカルツールは開発やプライベートな実験に優れていますが、それらに接続した本番環境コードで人々が直面する問題については、Ollama APIのよくある間違いの記事で解説しています。

モデルAPI仕様の読み方

エンドポイントにコミットする前に、以下の5つの事実を収集してください:ベースURL、モデルID、認証の方法、利用可能なメソッド、および制限事項です。このサービスの場合、これらは短いです。

  • ベースURL:https://api.modelapis.cc/v1
  • モデルID: uncensored
  • 認証:Authorization: Bearer YOUR_API_KEY
  • メソッド:POST /v1/chat/completions、POST /v1/responses、GET /v1/models
  • コンテキスト:100,000トークン(プロンプトと補完を合わせて)

これらを手元に置けば、最初の呼び出しは標準的なOpenAI Python SDKの数行で完了します:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.modelapis.cc/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a token is in two sentences."}],
)
print(reply.choices[0].message.content)
print(reply.usage)

usageフィールドは、初日から出力しておく価値があります。これは、呼び出しに使用された入力トークンと出力トークンの正確な数を教えてくれ、これは請求書の基礎となる数値です。すべてのパラメータの注記はAPIドキュメントにあります。

トークン課金方式の仕組み

請求には2つのメーターがあります。入力トークンとは、システムプロンプト、会話履歴、新しいメッセージなど、あなたが送信するすべてのデータです。出力トークンとは、モデルが返信として書き戻す内容です。ここでは、入力トークン1Mあたり$0.15、出力トークン1Mあたり$0.50のレートで、サブスクリプションなしで前払いクレジットから課金されます。

具体的な計算例:チャットの1ターンで2,000トークンの入力を送信し、500トークンの出力を受信します。

  • 入力: 2,000 / 1,000,000 x $0.15 = $0.0003
  • 出力: 500 / 1,000,000 x $0.50 = $0.00025
  • 合計: 1ターンあたり$0.00055、または1,000ターンあたり$0.55

失敗または拒否されたリクエストは課金されず、クレジットは期限切れにならないため、構築中に残高が減少することはありません。価格ページには、$20から$500までのチャージ額とボーナスティアが記載されています。支払いは暗号資産のみ(TRC20上のUSDTまたはBase上のUSDC)です。

他のプロバイダと比較したい場合は、そのプロバイダのページから入力と出力の価格を取得し、同じ2行の計算式を実行してください。記事にコピーされた数値を信じるのではなく、リスト価格が変更されるため、現在の価格を確認してください。

既存のコードをホストされたエンドポイントに移行する

アプリがすでにローカルランタイムや他のOpenAI互換サービスと通信している場合、切り替えは書き換えではなく設定変更です。3つの変数部分を環境変数に設定します:

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.modelapis.cc/v1"),
    api_key=os.environ.get("LLM_API_KEY", "YOUR_API_KEY"),
)
MODEL = os.environ.get("LLM_MODEL", "uncensored")

reply = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Ping"}],
)
print(reply.choices[0].message.content)

OpenAI互換のルーティングを公開するOllamaでのローカル開発の場合、LLM_BASE_URLをローカルのアドレスに、LLM_MODELをローカルのモデル名に設定します。本番環境ではデフォルトのままにします。同じコードパスが両方の環境で動作するため、ロジックを変更せずにオフラインでプロトタイプを作成し、ホストされたモデルに対してデプロイすることができます。

切り替え後、実際のプロンプトでテストを再実行してください。出力のスタイル、長さ、拒否の動作はプロトコルではなくモデルに依存するため、統合テストがパスしたとしても、回答があなたの製品に必要なものかどうかはわかりません。

トークン課金エンドポイントが有利な場合

ホストされたトークン単位のアクセスは、通常、以下の4つの状況で自前のGPUよりも優れています:

  1. 不均一なトラフィック。 サイドプロジェクト、Discordボット、または数十人のユーザーを持つベータ版では、メッセージが送信されたときのみ費用がかかります。
  2. 操作キャパシティ不要。 チームに推論サーバーのお世話をしたい人がいない場合、節約される時間よりもレンタルの方が安価です。
  3. 既存のOpenAIコード。 切り替えはベースURLとキーの変更だけです。SDK、リトライロジック、テストを引き続き使用できます。
  4. プロトタイピングの速度。 ハードウェアを購入する前に、午後の時間でモデルの動作が製品に適しているかどうかをテストできます。

負荷が一定でGPUを24時間稼働させるのに十分なほど重い場合、データがネットワーク外に出ない必要がある場合、またはこのサービスが提供していない機能が必要な場合は、このサービスには劣ります。当サイトはテキストのみ対応です:画像、音声、動画の生成、埋め込み、ファインチューニングはありません。それらのためには、このサービスの他に別のツールを使用してください。

選択する前のチェックリスト

  1. ストリーミングとツール呼び出しを含むOpenAI形式に対応しており、クライアントコードを変更せずに済みますか?
  2. モデルIDは安定していますか?また、誰がモデルを操作しているかが明確ですか?
  3. コンテキストウィンドウとは何ですか?また、補完はプロンプトとウィンドウを共有しますか?
  4. レート制限と同時実行数の制限はいくつで、それらに到達したときにAPIは何を返しますか?
  5. 失敗したリクエストに対しても課金されますか?
  6. プロンプトはどのように処理されますか?ここではトレーニングには使用されません。
  7. 支払い方法と、少額から開始できるか? 新しいアカウントは、APIキーページでワンクリックで$0.50の無料トライアルクレジットを取得できます。カードは不要です。

決定する前に、実際のプロンプトで10分間のテストを実行してください。独自コンテンツでの動作は、機能リストよりも多くのことを教えてくれます。

プライバシーとキー

ホストされたAPIは、プロンプトが誰かのサーバーに送信されることを意味します。これは、モデルを自分のマシンで実行する場合と比較して手放す主なものです。意識的な選択であるべきです。ここではプロンプトはトレーニングに使用されません。それでも、すべてのリクエストをネットワーク外に出るデータとして扱い、理由と権限がある場合に限り、秘密鍵、プライベートキー、または他の人の個人データを送信してください。

キーも同じ注意が必要です。APIキーページからいつでもキーを再生成でき、古いキーはすぐに無効になります。チャージ済みのアカウントは最大5つのキーを保持し、ラベルを付け、それらを取り消すことができるため、各アプリまたは環境に固有のものを与えてください。1つが漏洩した場合、数秒で置き換えられ、それ以外には影響がありません。

よくある質問

モデルAPIとは何ですか?

モデルAPIは、プロンプトまたはメッセージのリストを受け取り、言語モデルによって生成されたテキストを返すHTTPエンドポイントです。独自のハードウェアでモデルを実行するのではなく、トークンごとに課金されます。

ホストされたAPIはローカルでモデルを実行するよりも安価ですか?

小規模または不規則なトラフィックの場合、通常はそうなります。使用されたトークンのみに対して課金され、アイドル状態のGPU時間を持たずに済むためです。すでに所有しているハードウェアに対する一定の大量負荷の場合、ローカルの方が安価になる可能性があります。

OpenAI SDKをこのAPIで使用できますか?

はい。ベースURLをhttps://api.modelapis.cc/v1に設定し、キーをBearerトークンとして使用し、モデルをuncensoredに設定します。

エンドポイントは画像や埋め込みを処理しますか?

いいえ。チャット補完、responsesメソッド、モデルリストのみで、テキストのみ対応です。

キーをすぐに入手

サインアップし、キーを取得し、ベースURLを更新します。それだけです。

キーを作成ドキュメントを表示