Token bucket
Un algoritmo de limitación de tasa. Un bucket guarda hasta B tokens y se rellena a una tasa fija r; cada petición toma un token, y una petición que encuentra el bucket vacío espera o es rechazada. Permite ráfagas cortas de hasta B mientras mantiene el promedio a largo plazo en r.
Rendimiento
En Quorum#
Un Nodo Burstable funciona con un token bucket de créditos de CPU. Gana créditos mientras usa menos del 20% de su vCPU, acumula hasta 100 núcleo-segundos por vCPU y los gasta para funcionar por encima de esa base. Cuando el bucket está vacío cae al 20% de CPU, así que una máquina Burstable que funciona al límite todo el día se atasca. A cambio cuesta 0.4 veces una máquina General. La Investigación de Limitación de tasa del API Gateway le da el mismo bucket: 200 peticiones de ráfaga además de su tope.
Diseño#
Lee a continuación#
Limitación de tasa, Utilización, Escalado vertical y horizontal