QuorumWiki
Jugar
ReferenciaGlosario

Batching continuo

Una técnica de servicio para modelos de lenguaje que añade cada petición nueva al lote en ejecución en cuanto queda libre un hueco, en lugar de esperar a que termine todo el lote. El rendimiento sube y la espera por el primer token sigue siendo corta.

Rendimiento

En Quorum#

La Investigación de Batching continuo añade batch 8 y batch 32 a un Nodo GPU: 1.6× y 2.2× los prompts por segundo con el tiempo hasta el primer token sin cambios. Sin ella, los lotes más grandes igualmente aumentan el rendimiento, y añaden 150 ms o 500 ms a esa espera.

Diseño#

GPU Node

Inferencia de modelo, Cuantización, Percentil (p50, p95, p99), Utilización

Saber más#