量子化

GPUノードがINT8かINT4の重みで動く。速くて小さく、答えの価値は5%か15%下がる。

前提条件#

先にこれをリサーチします:モデルサービング。

エンジニアリング用語#