QuorumWiki
Jugar
ReferenciaGlosario

Limitación de tasa

Limitar cuántas peticiones puede hacer un cliente en un periodo y rechazar el resto, a menudo con HTTP 429 Too Many Requests. Protege un servicio del abuso, de los scrapers y de un cliente ruidoso, y permite a un proveedor repartir la capacidad de forma justa. Los algoritmos habituales son el token bucket, el leaky bucket y las ventanas fijas o deslizantes.

Seguridad

En Quorum#

La API de LLM te limita desde el lado del cliente: acepta 100 prompts por segundo por nivel de uso, y por encima de eso los prompts fallan de inmediato como throttled. El API Gateway aplica la misma idea a tus propios servicios. Eliges un tope en peticiones por segundo, y las peticiones que lo superan fallan como throttled. Es un tope para todo el Nodo, no un bucket por usuario o clave de API. La Investigación de Limitación de tasa convierte el tope en un token bucket que se rellena en cada Paso y admite 200 peticiones más, así que una ráfaga que cabe pasa entera. Para detener el tráfico abusivo, un WAF bloquea en cambio los bots por regla: el 80% de los bots con paranoia 2, bloqueando también al 0.5% de los usuarios reales.

Diseño#

API Gateway

Token bucket, WAF (firewall de aplicaciones web), Descarte de carga, Contrapresión

Saber más#