リファレンス用語集
モデル推論
学習済みの機械学習モデルを実行して答えを出すことで、学習とは対照的です。大規模言語モデルでは GPU がトークンごとに答えを生成するので、コストと速さは毎秒のトークン数と最初のトークンまでの時間で測ります。GPU を借りて自分でモデルを提供するか、ホスト型の API にトークン単位で払います。
ランタイム
Quorum では#
ai リクエストは 400 トークンのプロンプトを推論ノードへ送ります。LLM API(ホスト型モデルのリサーチ)は GPU が要りません。1,000 トークンあたり $2.50 で、最初のトークンまで 600 ms かかり、利用段階ごとに毎秒 100 件を超えるプロンプトを絞ります。GPUノード(モデルサービングのリサーチ)は最初のトークンまで 300 ms で、T4 で毎秒 200 トークン、A100 で 900、H100 で 2,000 を生成します。支出は暇でも忙しくても同じなので、H100 が LLM API より安いのは約 3 分の 2 稼働している間だけです。