リファレンス用語集

トークンバケット

レート制限のアルゴリズムです。バケットは最大 B 個のトークンを保ち、一定の速度 r で補充します。各リクエストがトークンを 1 つ取り、空のバケットに当たったリクエストは待つか断られます。長期的な平均を r に保ちながら、最大 B までの短いバーストを許します。

パフォーマンス

Quorum では#

バースト可能なノードは CPU クレジットのトークンバケットで動きます。vCPU の 20% 未満しか使っていない間にクレジットを稼ぎ、vCPU あたり 100 コア秒まで貯め、その基準を超えて動くために使います。バケットが空になると CPU 20% まで落ちるので、一日中熱いバースト可能なマシンは止まります。代わりに汎用の 0.4 倍の費用です。APIゲートウェイのレート制限のリサーチは同じバケットを与え、上限に加えて 200 リクエストのバーストを許します。

設計#

API Gateway

レート制限、使用率、垂直スケーリングと水平スケーリング

さらに学ぶ#