QuorumWiki
Jugar

Cuantización

Un Nodo GPU ejecuta pesos INT8 o INT4: más rápido y más pequeño, y sus respuestas valen un 5% o un 15% menos.

Requisitos previos#

Investiga antes estas: Servicio de modelos.

Términos de ingeniería#