ReferenciaGlosario
Cuantización
Guardar los pesos de un modelo con menor precisión, como enteros de 8 o 4 bits en lugar de floats de 16 bits, para que el modelo use menos memoria y calcule más rápido, a costa de algo de calidad en las respuestas.
Rendimiento
En Quorum#
La Investigación de Cuantización añade FP16, INT8 e INT4 a un Nodo GPU. INT8 sirve 2× los tokens e INT4 3×, y cada respuesta vale un 5% o un 15% menos. Compensa cuando la GPU es el cuello de botella y las respuestas pueden permitirse ser un poco peores.
Diseño#
Lee a continuación#
Inferencia de modelo, Batching continuo, Utilización, Arranque en frío