モデルサービング

GPUノードを解放。回り続けていれば、AIプロンプトのトークン単価が下がる。

解放するもの#

GPUノード

前提条件#

インフラトラックの根です。これより前に何もありません。

つながる先:量子化、continuous batching。

エンジニアリング用語#