ReferenciaÁrbol de investigación
Era 4 · Serie BCuantización
Un Nodo GPU ejecuta pesos INT8 o INT4: más rápido y más pequeño, y sus respuestas valen un 5% o un 15% menos.
Requisitos previos#
Investiga antes estas: Servicio de modelos.
Un Nodo GPU ejecuta pesos INT8 o INT4: más rápido y más pequeño, y sus respuestas valen un 5% o un 15% menos.
Investiga antes estas: Servicio de modelos.