continuous batching

GPUノードが届いた順にプロンプトをバッチにまとめるので、バッチを大きくしても最初のトークンまでの時間は増えずにスループットが上がる。

前提条件#

先にこれをリサーチします:モデルサービング。

エンジニアリング用語#