リファレンス用語集

continuous batching

言語モデルのサービング手法で、バッチ全体が終わるのを待たず、空きが出た瞬間に新しいリクエストを実行中のバッチへ加えます。スループットが上がり、最初のトークンまでの待ちは短いままです。

パフォーマンス

Quorum では#

continuous batching のリサーチは GPUノードにバッチ 8 とバッチ 32 を追加します。毎秒のプロンプト数が 1.6 倍と 2.2 倍になり、最初のトークンまでの時間は変わりません。これがないと、大きいバッチでもスループットは上がりますが、その待ち時間に 150 ms または 500 ms が加わります。

設計#

GPU Node

モデル推論、量子化、パーセンタイル(p50、p95、p99)、使用率

さらに学ぶ#