リファレンス用語集

量子化

モデルの重みをより低い精度で保存することです。16 ビットの浮動小数ではなく 8 ビットや 4 ビットの整数などで、メモリを減らして計算を速くしますが、答えの質はいくらか落ちます。

パフォーマンス

Quorum では#

量子化のリサーチは GPUノードに FP16、INT8、INT4 を足します。INT8 は 2 倍、INT4 は 3 倍のトークンをさばき、答えの価値はそれぞれ 5% か 15% 低くなります。GPU がボトルネックで、答えが少し悪くてもよいときに得です。

設計#

GPU Node and precision

モデル推論、continuous batching、使用率、コールドスタート

さらに学ぶ#