パターン
小さな部品で学ぶシステム設計。設計を 1 ステップずつ組み立て、各ステップの背景にあるパターンを調べます。
システム設計のチートシートで、互いに参照し合う 4 つの部分からなります。スケーリングのステップは 1 つずつ部品を足し、いつ移るかを示します。パターンは各ステップの背景にある考え、そのコスト、ゲームでの設定方法を説明します。実運用のページは実際の企業が大規模に動かした形を、障害のページは壊れた形を、ボード上でインシデントを動かしながら示します。どちらも Quorum がモデル化できない部品を名指しします。
初めての方は 1 台の箱から始めて上へ進むか、ボードのゲージが赤くなったらパターンへ飛びます。ほとんどのページは実際の設計をゲーム自身のボードに描き、使う設定をすべて説明します。
基礎#
ほかのすべてが寄りかかる語彙。レイテンシ、可用性、CAP、テール。
レイテンシは 1 つのリクエストにかかる時間、スループットは毎秒いくつ完了するかです。片方を上げると、もう片方が悪化することがよくあります。
稼働時間のナインが 1 つ増えるごとに許される停止時間は 10 分の 1 になり、連鎖の中のハードな依存はそれぞれ全体を下げます。
ネットワークが分断されると、複製されたストアは一部のリクエストを拒否するか古い値を返すかを選ばなければならず、健全なときでもレイテンシと一貫性を引き換えにします。
一貫性モデルは、書き込みの後に読み取りがどの値を返してよいかを定め、強いモデルほどレイテンシと可用性を払います。
システム内にあるリクエストの数は、到着率とそれぞれがそこに留まる時間の積に等しく、これがすべてのプール、キュー、接続上限のサイズを決めます。
最も遅い数パーセントのリクエストがサービスの体感を決め、多数のサーバーにファンアウトするリクエストはほぼ毎回そのテールに当たります。
1 台のマシンでは成り立ち、ネットワーク越しには成り立たない 8 つの前提。それぞれに定番の防御策があります。
スケーリングのステップ#
1 台の箱から複数リージョンまで、1 ステップずつシステムを組み立てます。
コードとデータを 1 台のマシンで動かします。立ち上げが最も安く、始めるのに正しい場所です。
データをアプリサーバーから専用のデータベースノードへ移し、コードとデータが 1 台のマシンを奪い合わず、それぞれ単独で育てるようにします。
アプリサーバーに、2 台目のコピーが必要とするものを何も残さず、どのコピーでもどんなリクエストにも答えられ、死んだ 1 台が何も失わせないようにします。
2 台目を足す前に、アプリサーバーをより大きなインスタンスにします。容量を足す最も安い変更です。
同じ構成のアプリサーバーの手前にロードバランサーを置き、トラフィックを分けて、コピーを足すたびに容量が増えるようにします。
ロードバランサーに各サーバーを調べさせ、失敗したサーバーへトラフィックを送るのをやめるので、死んだホストのコストはリクエストの一部ではなく数秒になります。
App Server とデータベースの間にコネクションプーラーを置き、多数のアプリ接続が少数のデータベース接続を共有するようにします。
DNS を複数のロードバランサーの前に置いて入口が 1 台のマシンにならないようにし、フェイルオーバーに必要な速さに合わせて TTL を設定します。
ページとメディアをエッジから配信し、ファイルはオブジェクトストレージに保ち、オリジンは新しさが必要なものだけを扱うようにします。
アプリサーバーとデータベースの間にキャッシュを置き、繰り返しの読み取りをメモリから返すようにして、データベースの処理能力を書き込みに残します。
データベースをレプリカにコピーして読み取りに答えさせ、プライマリの処理能力を書き込みに回し、読み取りトラフィックをスケールアウトします。
書き込みをプライマリへ、読み取りをレプリカへ送り、書き込みに続く読み取りはプライマリへ戻して、ユーザーが自分の変更の欠落を見ないようにします。
全文検索を専用の検索エンジンに載せ、忙しいクエリがチェックアウトと書き込みから CPU とキャッシュを奪わないようにします。
形が変わるデータをキーで読み書きするならドキュメントストアを、書き込みが 1 台を超えるならワイドカラムストアを使い、それぞれが手放すものを受け入れます。
機能ごとに専用のアプリサーバーとデータベースを与え、1 つの機能の負荷と故障が自分の車線に留まるようにします。
ユーザーが待たない仕事をキューに渡し、ワーカーが自分のペースで消化するようにします。
各通知をキューとワーカー経由でマネージドプロバイダーへ送り、遅い、あるいは失敗する送信がリクエストを保持しないようにします。
使った分だけ課金されゼロからスケールするサーバーレス関数で、突発的あるいはまれな処理を動かし、定常的な負荷はボックスに残します。
アプリサーバーをオートスケーラーにリンクして、選んだ下限と上限の範囲でコピー数が負荷に追従するようにします。
データベースの書き込みログを読み、各変更をストリームへ発行し、検索や他のコピーが 2 度目の書き込みなしでデータに追随できるようにします。
レポートのスキャンをカラムナーのデータウェアハウスへ送り、アナリティクスがチェックアウトの頼るバッファキャッシュを追い出さないようにします。
アプリサーバーの手前に WAF と APIゲートウェイを置き、bot とバーストが容量を食う前に止まるようにします。
APIゲートウェイで各トークンを 1 回検証し、パスワードのハッシュ化を認証プロバイダに任せ、TLS の更新を証明書マネージャに任せることで、入口がアプリサーバーの負担にならず、期限切れも起きなくなります。
まずカナリアを送る CI/CDパイプラインで出荷し、新しい機能はフラグの裏に置きます。悪いデプロイは全ユーザーではなく一部だけを壊します。
リアルタイムの接続を、そのために作られたランタイムで動くリアルタイムハブに保ち、リアルタイムのトラフィックだけをそこへ流し、チャットとライブ更新がアプリサーバーのワーカーを食わないようにします。
データベースをキーでシャードに分け、最大サイズの 1 台が満杯になったら書き込みが複数のプライマリに分かれるようにします。
手作りのシャードを、自分で複製するストアに置き換えます。クォーラムを調整できるリーダーレスか、Raft 上の SQL で、すべての読み取りが正しい必要があるかどうかで選びます。
各ノードをアナリティクスに接続し、可視性のトラックをリサーチします。推測ではなく、エラーの原因、履歴、各リクエストの遅いホップが見えるようになります。
1 つのコードベースを Kubernetesクラスター上のサービスに分け、その隣にサービスメッシュを置いて、各サービスが単独でデプロイでき、すべての呼び出しにリトライ、ブレーカー、メトリクスが付くようにします。
2 つ目のリージョンを開き、GeoDNS で各リージョンのユーザーをそこへ導き、読み取りをローカルに保ちます。遠いユーザーは毎回のリクエストで海を 2 回払わなくなります。
小さなハンドラをユーザーの隣のエッジ関数で動かし、重い仕事はアプリサーバーに残すので、安いリクエストはオリジンへの往復を飛ばします。
プライマリをバックアップし、ゾーン喪失にはスタンバイを、リージョン喪失にはリージョンにまたがるストアを用意し、訓練でそれを証明します。
AI プロンプトをホスト型 LLM API と並べて自前の GPU ノードから配信し、モデル、精度、バッチサイズを調整します。GPU がプロンプトあたりで安くなるのは、動き続けている間だけです。
ドキュメントのエンベディングをベクトルインデックスに保ち、各プロンプトの前に最も近いものを引くことで、回答がモデルだけではなく自分のデータを使うようにします。
読み取りとコンピュートのスケーリング#
キャッシュ、レプリカ、ロードバランサー、オートスケーリング。
ホットな読み取りをメモリに置き、ミスのときにアプリがキャッシュを埋めるので、データベースは人気の行をリクエストごとではなく 1 回だけ処理します。
キャッシュにも書き込みを受けさせ、それぞれの書き込みをそのままデータベースへ渡すか、しばらく保持するかして、読み取りが古い値を見ないようにします。
多くの読み手が同じ期限切れのキャッシュキーを一度に再構築しないようにして、1 つの人気のキーがデータベースを倒せないようにします。
キャッシュがトラフィックを受ける前に埋め、1 つ目のキャッシュとオリジンの間に 2 つ目のキャッシュを置くので、冷えたキャッシュや遠いキャッシュがすべての読み取りをソースへ送りません。
データベースをフォロワーにコピーして読み取りを処理させ、書き込みは 1 つのプライマリが担ったまま読み取りトラフィックをスケールさせます。
コンテンツのコピーをユーザーの近くのサーバーに置き、オリジンから必要に応じて埋める(プル)か、自分でアップロードする(プッシュ)かです。
1 台のマシンを大きくするか、マシンを増やすか。どちらに先に手を伸ばすべきかを知っておきます。
負荷が上がったらサービスのコピーを増やし、下がったら減らします。負荷が現れてからでも、予測できるピークの前でもかまいません。
アプリとデータベースの間にプーラーを置き、多数のアプリ接続が少数のデータベース接続を共有するようにします。
ロードバランサーがサーバーを選ぶ規則を決めます。正しい規則は、サーバーが違うか、リクエストが違うかで変わります。
TCP 接続を速く転送するバランサーと、各 HTTP リクエストを読んで内容で振り分けるバランサーのどちらかを選びます。
ユーザーのフィードを、投稿時にフォロワー全員へコピーして作るか、読み取り時にフォロー先の投稿を集めて作るか。
高コストなクエリの答えを保存するか、結合済みのデータのコピーを保ち、読み取りが同じ作業を何度も繰り返さないようにします。
誰かが求める前に高コストな処理を済ませ、リクエストが答えを組み立てるのではなく用意済みの答えを読むようにします。
データのスケーリング#
シャーディング、レプリケーション、クォーラム、そして形に合うストア。
1 つのデータセットをキーで複数のデータベースに分け、書き込みと保存を 1 台のマシンの限界より先へスケールさせます。
キーをサーバーの輪に置くので、サーバーを 1 つ足したり外したりしても、ほとんどすべてではなくその分のキーだけが動きます。
1 つのキーやシャードがトラフィックの大きな割合を占めるとき、サーバーを増やしても効かないので、そのキーを分散させるかシャードキーを変えます。
データを機能ごとに別のデータベースへ分割し、各サービスが自分のテーブルを所有することで、忙しい機能がほかを遅くできないようにします。
データのコピーをどう同期させるかを選び、書き込みのレイテンシと失う書き込みを、古い読み取りと複雑さと引き換えにします。
各キーのコピーを複数持ち、読み取りと書き込みがそれぞれ十分な数のコピーに問い合わせて重なるようにし、リーダーなしで読み取りが最新の書き込みを見られるようにします。
サーバーの集団が多数決で書き込みの 1 つの順序に合意するようにして、少数が落ちてもデータが正しいままになるようにします。
ユーザーが書き込んだあと、そのユーザーの読み取りをしばらくプライマリに送り、自分の変更より古いデータを見せないようにします。
単語をそれが含まれる文書へ対応づける索引を別の検索エンジンに作り、クエリが全行を走査する代わりに短いいくつかのリストを読むようにします。
レポートは別の列指向ウェアハウスで動かし、大きな走査がキャッシュを追い出してユーザーに応えるデータベースを遅くしないようにします。
ファイルをオブジェクトストレージに置き、ライフサイクル規則で古いオブジェクトを安いクラスへ移します。保存コストがアップロードごとに伸びなくなります。
メッセージングと非同期#
キュー、ストリーム、そして両者の間の保証。
バーストする生産者と一定のペースの消費者の間にキューを置き、スパイクを失敗ではなく短い待ち時間にします。
複数のワーカーが 1 つのキューから読むようにして、各タスクがちょうど 1 つのワーカーへ行き、ワーカーを足すとスループットが伸びます。
各イベントをトピックへ 1 回パブリッシュし、関心のある各サービスがそれを読むようにします。生産者は自分のイベントを誰が消費するかを知らなくなります。
何度試しても失敗するメッセージを数回の試行の後に別のキューへ移し、1 つの悪いメッセージがワーカーを塞がないようにします。
遅いコンシューマーがプロデューサーを押し返すようにして、キューがメモリやレイテンシを使い切るまで伸び続けるのではなく、上限を保つようにします。
各書き込みにサーバーが覚える一意なキーを付け、再試行されたリクエストが処理を 1 回だけ行うようにします。
イベントを変更と同じデータベーストランザクションで書き、そこから発行するので、データベースとブローカーが食い違わないようにします。
データベースの変更ログを読み、各変更をイベントとして公開するので、検索やウェアハウス、キャッシュがアプリの二重書き込みなしで追従します。
大きなペイロードをオブジェクトストレージに置き、キューには参照だけを流すので、メッセージは小さく速いままです。
耐障害性#
タイムアウト、リトライ、サーキットブレーカー、そして小さく失敗するほかの方法。
すべてのネットワーク呼び出しに期限を与えます。永遠に待つ呼び出しはスレッドと接続とユーザーを人質にするためです。
失敗した呼び出しを、増えていくランダムな待ち時間のあとに再試行し、短い障害がリトライストームにならずに治まるようにします。
失敗し続ける依存先の呼び出しを止め、フォールバックですばやく答え、ときどき探って回復したかを見ます。
依存先や顧客ごとに容量のプールを分け、1 つの壊れた部分が他のすべてが必要とする資源を枯らせないようにします。
需要が容量を超えたら、最も安い処理を早めに断り、残した処理が時間どおりに終わるようにします。
クライアントやサービスが 1 秒あたりに送れるリクエスト数を制限し、騒がしい呼び出し元がみんなで共有する容量を使い切れないようにします。
遅い呼び出しの 2 つ目のコピーを送り、最初の答えを採用します。まれな遅いサーバーがテール遅延を決めなくなります。
システムがすべてをこなせないときは、高コストな機能から先に切って、製品の中核が動き続けるようにします。
各サーバーを監視し、応答しなくなったらトラフィックを送るのをやめ、ゾーン全体が落ちたらスタンバイへ移します。
自分のシステムを定期的に、監視の下で壊して、障害に先に弱いリンクを見つけます。
デプロイと変更#
システムを止めずにリリースし、移行します。
古いコードと新しいコードの両方が受け入れる小さな手順でデータベースのスキーマを変え、デプロイにダウンタイムも一斉リリースも要らないようにします。
新しいバージョンを古いものの隣に、または少数のユーザーに先に出荷するので、悪いリリースが届く範囲は狭く、ロールバックは速くなります。
新しい機能を実行中に上げ下げできるスイッチの裏に置き、コードのデプロイと機能のリリースを別の手順にします。
古いシステムを 1 つの入口の裏で少しずつ置き換え、大規模な書き直しなしに新しいものが引き継ぐようにします。
インフラをファイルに書き、バージョン管理から適用します。すべての環境が同じになり、すべての変更が履歴を持ちます。
稼働中のデータベースをロックせずに変え、スキーマやデータが動く間も書き込みが流れ続けるようにします。
運用と可観測性#
システムを見て、目標を定め、壊れる日に備えます。
すべてのサービスで 4 つ、遅延、トラフィック、エラー、飽和を見て、すべてのリソースでもう 3 つを確認します。そうすれば、誰かがログを開く前にダッシュボードが「何が壊れているか」に答えます。
ユーザーが気づく信頼性の目標を決め、それが許す失敗を予算として扱い、残りの予算で出荷するか固めるかを決めます。
平均ではなく p50、p95、p99 を報告します。平均は、実際のユーザーが訴える遅いリクエストを均して消してしまうからです。
1 つのリクエストをトレースとしてすべてのサービスにまたがって追い、終わった後にどのトレースを残すかを決めるので、遅いものと失敗したものがサンプリングを生き延びます。
一度に 1 人をオンコールに置き、チームがすでに対処した障害の直し方を書き残し、繰り返すものは自動化します。
失われたリージョンに備えてどれだけのスタンバイ容量を持つかを、バックアップだけから常時トラフィックをさばく 2 つ目の拠点まで選び、必要な速さに払います。
あらゆる災害に対して、失ってよいデータ量と落ちていてよい時間の 2 つの目標を決め、そこからバックアップとスタンバイの設計を選びます。
セキュリティとエッジ#
玄関、暗号化、シークレット、データを置ける場所。
サービス群の前に 1 つの入口を置き、レート制限、認証、リクエストのまとめを各サービスではなく 1 か所で行います。
エッジで、既知の攻撃パターンを止めるファイアウォールで敵意のあるトラフィックをろ過し、疑わしいクライアントはブロックせずにチャレンジして、実際のユーザーが通れるようにします。
通信路上のデータは TLS で、ディスク上のデータは自分で管理する鍵で暗号化し、証明書の更新を自動化するので、有効期限がサイトを落とすことはありません。
鍵、パスワード、トークンを、必要なときに渡す保管庫に置き、コードにも、イメージにも、フィッシングページの欲しいものリストにも残さないようにします。
すべてのビルドのライブラリを既知の脆弱性リストと照合するので、欠陥のある、または悪意のあるパッケージが本番に届く前にパイプラインを失敗させます。
あるリージョンの個人データをそのリージョン内のサーバーに保ち、そのリージョンのユーザーをそこへルーティングするので、別製品なしで現地の法と顧客契約を満たせます。
コスト#
使った分だけ払い、ユーザー 1 人あたりのコストを知ります。
実運用で動いた形#
実際のシステムが大規模に担った形と、その理由を示すボード。
Stack Overflow は 1 つの SQL Server と少数の大きな Web サーバーを保ち、その隣に Redis と Elasticsearch を置きました。
Shopify は MySQL のフリートをショップごとのポッドに分け、各リクエストを所有するポッドへルーティングしました。
Discord は何兆ものメッセージをワイドカラムストアに保存し、チャンネルと時間で分割し、クォーラムで読みました。
Netflix は自前の CDN を作り、データベースの前に memcached の層を置いたので、動画もパーソナライズされた読み取りもオリジンに届きません。
GitHub は 1 つの MySQL クラスタをスキーマドメインに分割し、その後 Vitess と書き込みの切り替えでテーブルを別々のクラスタへ移しました。
Slack は Redis の前に Kafka を置き、ジョブのバーストがキューのメモリを埋める代わりに耐久性のあるログで待つようにしました。
Meta はシャーディングした MySQL の前にライトスルーの memcached 層を置き、シャードごとに 1 つのプライマリリージョンを保ちました。
Notion はブロックテーブルを 480 の論理シャードに分け、変更を Kafka 経由でデータレイクへ流しました。
Figma は Postgres を手放さず、垂直分割が尽きたあとに水平シャードの手前にクエリルーターを構築しました。
1 つの WAF ルールが Cloudflare のすべてのエッジの CPU を 100% にし、修正はグローバル展開の前のカナリアでした。
Pinterest は 4,096 の MySQL シャードを動かし、各オブジェクトの 64 ビット ID にシャード番号を符号化したので、読み取りは参照サービスを必要としませんでした。
Uber は 2,200 の重要なマイクロサービスをドメインにまとめ、各ドメインの前にゲートウェイを置き、ドメイン間の呼び出しにはメッシュを使いました。
Dropbox は Magic Pocket の不変ブロブの前にシャーディングした MySQL の Block Index を置き、読み取りを 1 回のハッシュ参照と 1 回のブロブ取得にしました。
Stripe は数億のオブジェクトをダウンタイムなしで移し、その後、アプリが書き込み続ける間に MongoDB のシャード間でチャンクをコピーする Data Movement Platform を作りました。
壊れたとき#
設計を変えた障害と、依存関係を示すボード。
ゲームの外#
Quorum では組めないパターンと、読む価値のある参考文献。
サーガは、複数のサービスにまたがるビジネストランザクションをローカルトランザクションの連鎖として実行し、あとのステップが失敗したら完了したステップを補償トランザクションで取り消します。
CQRS はデータを変えるモデルと読むモデルを分けるので、両側をそれぞれの仕事に合わせて形作り、スケールできます。
イベントソーシングはすべての変更を追記専用のログにイベントとして保存し、それを再生して現在の状態を組み立てます。
サイドカーは、メインのアプリケーションの隣で独自のプロセスやコンテナとして動き、ログ、プロキシ、セキュリティといった共通の雑事を引き受けます。
腐敗防止層は自分のモデルとレガシーや外部システムのモデルの間で変換し、古い設計が新しい設計に漏れないようにします。
フロントエンド向けバックエンドは、ウェブや iOS、Android などクライアントの種類ごとに小さな専用バックエンドを持たせ、1 つの共有 API にしません。
APIコンポジションは複数のサービスにまたがるクエリを、各サービスを呼び出して結果をメモリ上で結合することで答えます。
2 フェーズコミットは、複数のデータベースが 1 つのトランザクションを一緒にコミットするか中断するかを決められるようにし、まず投票してからコミットしますが、コーディネーターが落ちるとブロックする代償があります。
競合しない複製データ型は、各レプリカが自分で書き込みを受け付け、それでも調整なしに同じ状態へマージできるようにします。
スティッキーセッションは、ロードバランサーがクライアントを最初に使ったサーバーへ戻すようにし、そのサーバーのメモリがクライアントの状態を持てるようにします。
ロングポーリングとサーバー送信イベントを使うと、WebSocket の双方向接続なしに、サーバーが素の HTTP で更新をブラウザへ押し出せます。