モデルの重みをより低い精度で保存することです。16 ビットの浮動小数ではなく 8 ビットや 4 ビットの整数などで、メモリを減らして計算を速くしますが、答えの質はいくらか落ちます。
パフォーマンス
量子化のリサーチは GPUノードに FP16、INT8、INT4 を足します。INT8 は 2 倍、INT4 は 3 倍のトークンをさばき、答えの価値はそれぞれ 5% か 15% 低くなります。GPU がボトルネックで、答えが少し悪くてもよいときに得です。
GPU Node and precision
モデル推論、continuous batching、使用率、コールドスタート