不正な設定投入

設定変更が全アプリサーバーとワーカーに一斉に届き、一緒に落ちました。GitOpsの一斉適用がすべてのミラーにも広がりました。

何が起きるか#

設定変更が全アプリサーバーとワーカーに一斉に届き、一緒に落ちました。GitOpsの一斉適用がすべてのミラーにも広がりました。

本番で起きたこと#

Roblox は 2021 年、制御プレーンの変更で 73 時間を失いました。制御プレーン 1 つ、73 時間:Roblox はその形を示し、ゲームがどこで止まるかを説明します。

防ぎ方#

終わらせるにはロールバックします。GitOpsの段階適用はまず1リージョンに留めます。

ポストモーテムは、まだ持っていない最初のものを開きます:

  1. GitOps

影響するコンポーネント#

アプリサーバー、ワーカー

エンジニアリング用語#