リファレンス用語集
レート制限
期間内にクライアントが送れるリクエスト数を上限で抑え、残りを断つことです。多くの場合 HTTP 429 Too Many Requests を返します。サービスを濫用、スクレイパー、1 つの騒がしいクライアントから守り、プロバイダが容量を公平に分けられます。よくあるアルゴリズムはトークンバケット、リーキーバケット、固定またはスライディングウィンドウです。
セキュリティ
Quorum では#
LLM API はクライアント側で制限します。利用段階ごとに毎秒 100 件のプロンプトを受け付け、それを超えるとプロンプトは throttled として即座に失敗します。APIゲートウェイは同じ考えを自分のサービスに適用します。毎秒のリクエスト数で上限を選び、超えたリクエストは throttled として失敗します。上限はノード全体で 1 つで、ユーザーや API キーごとのバケットではありません。レート制限のリサーチは上限をトークンバケットにし、ステップごとに補充して 200 件多く保つので、収まるバーストは丸ごと通ります。濫用のトラフィックを止めるには、WAF がルールでボットをブロックします。パラノイア 2 でボットの 80% をブロックし、実際のユーザーも 0.5% ブロックします。