ReferenciaGlosario
Batching continuo
Una técnica de servicio para modelos de lenguaje que añade cada petición nueva al lote en ejecución en cuanto queda libre un hueco, en lugar de esperar a que termine todo el lote. El rendimiento sube y la espera por el primer token sigue siendo corta.
Rendimiento
En Quorum#
La Investigación de Batching continuo añade batch 8 y batch 32 a un Nodo GPU: 1.6× y 2.2× los prompts por segundo con el tiempo hasta el primer token sin cambios. Sin ella, los lotes más grandes igualmente aumentan el rendimiento, y añaden 150 ms o 500 ms a esa espera.
Diseño#
Lee a continuación#
Inferencia de modelo, Cuantización, Percentil (p50, p95, p99), Utilización