パターン

パターン

小さな部品で学ぶシステム設計。設計を 1 ステップずつ組み立て、各ステップの背景にあるパターンを調べます。

システム設計のチートシートで、互いに参照し合う 4 つの部分からなります。スケーリングのステップは 1 つずつ部品を足し、いつ移るかを示します。パターンは各ステップの背景にある考え、そのコスト、ゲームでの設定方法を説明します。実運用のページは実際の企業が大規模に動かした形を、障害のページは壊れた形を、ボード上でインシデントを動かしながら示します。どちらも Quorum がモデル化できない部品を名指しします。

初めての方は 1 台の箱から始めて上へ進むか、ボードのゲージが赤くなったらパターンへ飛びます。ほとんどのページは実際の設計をゲーム自身のボードに描き、使う設定をすべて説明します。

基礎#

ほかのすべてが寄りかかる語彙。レイテンシ、可用性、CAP、テール。

レイテンシとスループット

レイテンシは 1 つのリクエストにかかる時間、スループットは毎秒いくつ完了するかです。片方を上げると、もう片方が悪化することがよくあります。

可用性とナイン

稼働時間のナインが 1 つ増えるごとに許される停止時間は 10 分の 1 になり、連鎖の中のハードな依存はそれぞれ全体を下げます。

CAP と PACELC

ネットワークが分断されると、複製されたストアは一部のリクエストを拒否するか古い値を返すかを選ばなければならず、健全なときでもレイテンシと一貫性を引き換えにします。

一貫性モデル

一貫性モデルは、書き込みの後に読み取りがどの値を返してよいかを定め、強いモデルほどレイテンシと可用性を払います。

リトルの法則

システム内にあるリクエストの数は、到着率とそれぞれがそこに留まる時間の積に等しく、これがすべてのプール、キュー、接続上限のサイズを決めます。

テールレイテンシ

最も遅い数パーセントのリクエストがサービスの体感を決め、多数のサーバーにファンアウトするリクエストはほぼ毎回そのテールに当たります。

分散コンピューティングの誤謬

1 台のマシンでは成り立ち、ネットワーク越しには成り立たない 8 つの前提。それぞれに定番の防御策があります。

スケーリングのステップ#

1 台の箱から複数リージョンまで、1 ステップずつシステムを組み立てます。

1
1 台のボックス

コードとデータを 1 台のマシンで動かします。立ち上げが最も安く、始めるのに正しい場所です。

2
サーバーとストレージを分ける

データをアプリサーバーから専用のデータベースノードへ移し、コードとデータが 1 台のマシンを奪い合わず、それぞれ単独で育てるようにします。

3
ステートレスなアプリサーバー

アプリサーバーに、2 台目のコピーが必要とするものを何も残さず、どのコピーでもどんなリクエストにも答えられ、死んだ 1 台が何も失わせないようにします。

4
まずスケールアップ

2 台目を足す前に、アプリサーバーをより大きなインスタンスにします。容量を足す最も安い変更です。

5
ロードバランサーの後ろに複数のアプリサーバー

同じ構成のアプリサーバーの手前にロードバランサーを置き、トラフィックを分けて、コピーを足すたびに容量が増えるようにします。

6
ヘルスチェックで死んだノードを外す

ロードバランサーに各サーバーを調べさせ、失敗したサーバーへトラフィックを送るのをやめるので、死んだホストのコストはリクエストの一部ではなく数秒になります。

7
サーバーとデータベースの間のプーラー

App Server とデータベースの間にコネクションプーラーを置き、多数のアプリ接続が少数のデータベース接続を共有するようにします。

8
手前に置く DNS

DNS を複数のロードバランサーの前に置いて入口が 1 台のマシンにならないようにし、フェイルオーバーに必要な速さに合わせて TTL を設定します。

9
オブジェクトストレージと CDN に静的ファイルを置く

ページとメディアをエッジから配信し、ファイルはオブジェクトストレージに保ち、オリジンは新しさが必要なものだけを扱うようにします。

10
キャッシュを追加する

アプリサーバーとデータベースの間にキャッシュを置き、繰り返しの読み取りをメモリから返すようにして、データベースの処理能力を書き込みに残します。

11
リードレプリカを追加する

データベースをレプリカにコピーして読み取りに答えさせ、プライマリの処理能力を書き込みに回し、読み取りトラフィックをスケールアウトします。

12
読み取りと書き込みを別々にルーティングする

書き込みをプライマリへ、読み取りをレプリカへ送り、書き込みに続く読み取りはプライマリへ戻して、ユーザーが自分の変更の欠落を見ないようにします。

13
データベースのそばに検索を置く

全文検索を専用の検索エンジンに載せ、忙しいクエリがチェックアウトと書き込みから CPU とキャッシュを奪わないようにします。

14
ドキュメントストアとワイドカラムストア

形が変わるデータをキーで読み書きするならドキュメントストアを、書き込みが 1 台を超えるならワイドカラムストアを使い、それぞれが手放すものを受け入れます。

15
機能ごとにデータベースを分ける

機能ごとに専用のアプリサーバーとデータベースを与え、1 つの機能の負荷と故障が自分の車線に留まるようにします。

16
遅い仕事をキューとワーカーへ

ユーザーが待たない仕事をキューに渡し、ワーカーが自分のペースで消化するようにします。

17
ファンアウトのためのメッセージ基盤

各通知をキューとワーカー経由でマネージドプロバイダーへ送り、遅い、あるいは失敗する送信がリクエストを保持しないようにします。

18
急な山がある処理のための関数

使った分だけ課金されゼロからスケールするサーバーレス関数で、突発的あるいはまれな処理を動かし、定常的な負荷はボックスに残します。

19
コンピュート層をオートスケールする

アプリサーバーをオートスケーラーにリンクして、選んだ下限と上限の範囲でコピー数が負荷に追従するようにします。

20
CDC で変更をストリームする

データベースの書き込みログを読み、各変更をストリームへ発行し、検索や他のコピーが 2 度目の書き込みなしでデータに追随できるようにします。

21
プライマリから離し、ウェアハウスでレポート

レポートのスキャンをカラムナーのデータウェアハウスへ送り、アナリティクスがチェックアウトの頼るバッファキャッシュを追い出さないようにします。

22
手前に WAF とゲートウェイを置く

アプリサーバーの手前に WAF と APIゲートウェイを置き、bot とバーストが容量を食う前に止まるようにします。

23
ゲートウェイでの認証と TLS

APIゲートウェイで各トークンを 1 回検証し、パスワードのハッシュ化を認証プロバイダに任せ、TLS の更新を証明書マネージャに任せることで、入口がアプリサーバーの負担にならず、期限切れも起きなくなります。

24
安全なデプロイのためのフィーチャーフラグと CI

まずカナリアを送る CI/CDパイプラインで出荷し、新しい機能はフラグの裏に置きます。悪いデプロイは全ユーザーではなく一部だけを壊します。

25
リアルタイムのための WebSocket 層

リアルタイムの接続を、そのために作られたランタイムで動くリアルタイムハブに保ち、リアルタイムのトラフィックだけをそこへ流し、チャットとライブ更新がアプリサーバーのワーカーを食わないようにします。

26
データベースをシャードする

データベースをキーでシャードに分け、最大サイズの 1 台が満杯になったら書き込みが複数のプライマリに分かれるようにします。

27
分散 SQL とリーダーレスストア

手作りのシャードを、自分で複製するストアに置き換えます。クォーラムを調整できるリーダーレスか、Raft 上の SQL で、すべての読み取りが正しい必要があるかどうかで選びます。

28
ログ、メトリクス、トレース

各ノードをアナリティクスに接続し、可視性のトラックをリサーチします。推測ではなく、エラーの原因、履歴、各リクエストの遅いホップが見えるようになります。

29
メッシュとともにサービスへ分割する

1 つのコードベースを Kubernetesクラスター上のサービスに分け、その隣にサービスメッシュを置いて、各サービスが単独でデプロイでき、すべての呼び出しにリトライ、ブレーカー、メトリクスが付くようにします。

30
GeoDNS によるマルチリージョン

2 つ目のリージョンを開き、GeoDNS で各リージョンのユーザーをそこへ導き、読み取りをローカルに保ちます。遠いユーザーは毎回のリクエストで海を 2 回払わなくなります。

31
エッジでのコンピュート

小さなハンドラをユーザーの隣のエッジ関数で動かし、重い仕事はアプリサーバーに残すので、安いリクエストはオリジンへの往復を飛ばします。

32
ディザスタリカバリとフェイルオーバーリージョン

プライマリをバックアップし、ゾーン喪失にはスタンバイを、リージョン喪失にはリージョンにまたがるストアを用意し、訓練でそれを証明します。

33
GPU 上のゲートウェイの後ろに置く LLM

AI プロンプトをホスト型 LLM API と並べて自前の GPU ノードから配信し、モデル、精度、バッチサイズを調整します。GPU がプロンプトあたりで安くなるのは、動き続けている間だけです。

34
ベクトル検索とエンベディング

ドキュメントのエンベディングをベクトルインデックスに保ち、各プロンプトの前に最も近いものを引くことで、回答がモデルだけではなく自分のデータを使うようにします。

読み取りとコンピュートのスケーリング#

キャッシュ、レプリカ、ロードバランサー、オートスケーリング。

キャッシュアサイド

ホットな読み取りをメモリに置き、ミスのときにアプリがキャッシュを埋めるので、データベースは人気の行をリクエストごとではなく 1 回だけ処理します。

ライトスルーとライトビハインド

キャッシュにも書き込みを受けさせ、それぞれの書き込みをそのままデータベースへ渡すか、しばらく保持するかして、読み取りが古い値を見ないようにします。

キャッシュスタンピード対策

多くの読み手が同じ期限切れのキャッシュキーを一度に再構築しないようにして、1 つの人気のキーがデータベースを倒せないようにします。

キャッシュウォーミングと階層キャッシュ

キャッシュがトラフィックを受ける前に埋め、1 つ目のキャッシュとオリジンの間に 2 つ目のキャッシュを置くので、冷えたキャッシュや遠いキャッシュがすべての読み取りをソースへ送りません。

リードレプリカ

データベースをフォロワーにコピーして読み取りを処理させ、書き込みは 1 つのプライマリが担ったまま読み取りトラフィックをスケールさせます。

CDN のプッシュとプル

コンテンツのコピーをユーザーの近くのサーバーに置き、オリジンから必要に応じて埋める(プル)か、自分でアップロードする(プッシュ)かです。

垂直スケーリングと水平スケーリング

1 台のマシンを大きくするか、マシンを増やすか。どちらに先に手を伸ばすべきかを知っておきます。

オートスケーリング、リアクティブとスケジュール

負荷が上がったらサービスのコピーを増やし、下がったら減らします。負荷が現れてからでも、予測できるピークの前でもかまいません。

コネクションプーリング

アプリとデータベースの間にプーラーを置き、多数のアプリ接続が少数のデータベース接続を共有するようにします。

ロードバランシングのアルゴリズム

ロードバランサーがサーバーを選ぶ規則を決めます。正しい規則は、サーバーが違うか、リクエストが違うかで変わります。

レイヤー 4 とレイヤー 7 のロードバランシング

TCP 接続を速く転送するバランサーと、各 HTTP リクエストを読んで内容で振り分けるバランサーのどちらかを選びます。

書き込み時と読み取り時のファンアウト

ユーザーのフィードを、投稿時にフォロワー全員へコピーして作るか、読み取り時にフォロー先の投稿を集めて作るか。

マテリアライズドビューと非正規化

高コストなクエリの答えを保存するか、結合済みのデータのコピーを保ち、読み取りが同じ作業を何度も繰り返さないようにします。

事前計算

誰かが求める前に高コストな処理を済ませ、リクエストが答えを組み立てるのではなく用意済みの答えを読むようにします。

データのスケーリング#

シャーディング、レプリケーション、クォーラム、そして形に合うストア。

シャーディング

1 つのデータセットをキーで複数のデータベースに分け、書き込みと保存を 1 台のマシンの限界より先へスケールさせます。

コンシステントハッシュ

キーをサーバーの輪に置くので、サーバーを 1 つ足したり外したりしても、ほとんどすべてではなくその分のキーだけが動きます。

ホットキーとホットシャード

1 つのキーやシャードがトラフィックの大きな割合を占めるとき、サーバーを増やしても効かないので、そのキーを分散させるかシャードキーを変えます。

フェデレーション

データを機能ごとに別のデータベースへ分割し、各サービスが自分のテーブルを所有することで、忙しい機能がほかを遅くできないようにします。

レプリケーション戦略

データのコピーをどう同期させるかを選び、書き込みのレイテンシと失う書き込みを、古い読み取りと複雑さと引き換えにします。

クォーラムの読み取りと書き込み

各キーのコピーを複数持ち、読み取りと書き込みがそれぞれ十分な数のコピーに問い合わせて重なるようにし、リーダーなしで読み取りが最新の書き込みを見られるようにします。

コンセンサスとリーダー選出

サーバーの集団が多数決で書き込みの 1 つの順序に合意するようにして、少数が落ちてもデータが正しいままになるようにします。

自分の書き込みを読む

ユーザーが書き込んだあと、そのユーザーの読み取りをしばらくプライマリに送り、自分の変更より古いデータを見せないようにします。

全文検索と転置インデックス

単語をそれが含まれる文書へ対応づける索引を別の検索エンジンに作り、クエリが全行を走査する代わりに短いいくつかのリストを読むようにします。

OLTP と OLAP の分離

レポートは別の列指向ウェアハウスで動かし、大きな走査がキャッシュを追い出してユーザーに応えるデータベースを遅くしないようにします。

オブジェクトストレージとライフサイクル規則

ファイルをオブジェクトストレージに置き、ライフサイクル規則で古いオブジェクトを安いクラスへ移します。保存コストがアップロードごとに伸びなくなります。

メッセージングと非同期#

キュー、ストリーム、そして両者の間の保証。

キューによる負荷平準化

バーストする生産者と一定のペースの消費者の間にキューを置き、スパイクを失敗ではなく短い待ち時間にします。

競合コンシューマー

複数のワーカーが 1 つのキューから読むようにして、各タスクがちょうど 1 つのワーカーへ行き、ワーカーを足すとスループットが伸びます。

パブリッシュとサブスクライブ

各イベントをトピックへ 1 回パブリッシュし、関心のある各サービスがそれを読むようにします。生産者は自分のイベントを誰が消費するかを知らなくなります。

デッドレターキュー

何度試しても失敗するメッセージを数回の試行の後に別のキューへ移し、1 つの悪いメッセージがワーカーを塞がないようにします。

バックプレッシャー

遅いコンシューマーがプロデューサーを押し返すようにして、キューがメモリやレイテンシを使い切るまで伸び続けるのではなく、上限を保つようにします。

冪等キー

各書き込みにサーバーが覚える一意なキーを付け、再試行されたリクエストが処理を 1 回だけ行うようにします。

トランザクショナルアウトボックス

イベントを変更と同じデータベーストランザクションで書き、そこから発行するので、データベースとブローカーが食い違わないようにします。

変更データキャプチャ

データベースの変更ログを読み、各変更をイベントとして公開するので、検索やウェアハウス、キャッシュがアプリの二重書き込みなしで追従します。

クレームチェック

大きなペイロードをオブジェクトストレージに置き、キューには参照だけを流すので、メッセージは小さく速いままです。

耐障害性#

タイムアウト、リトライ、サーキットブレーカー、そして小さく失敗するほかの方法。

タイムアウト

すべてのネットワーク呼び出しに期限を与えます。永遠に待つ呼び出しはスレッドと接続とユーザーを人質にするためです。

バックオフとジッターを伴うリトライ

失敗した呼び出しを、増えていくランダムな待ち時間のあとに再試行し、短い障害がリトライストームにならずに治まるようにします。

サーキットブレーカー

失敗し続ける依存先の呼び出しを止め、フォールバックですばやく答え、ときどき探って回復したかを見ます。

バルクヘッド

依存先や顧客ごとに容量のプールを分け、1 つの壊れた部分が他のすべてが必要とする資源を枯らせないようにします。

ロードシェディング

需要が容量を超えたら、最も安い処理を早めに断り、残した処理が時間どおりに終わるようにします。

レート制限

クライアントやサービスが 1 秒あたりに送れるリクエスト数を制限し、騒がしい呼び出し元がみんなで共有する容量を使い切れないようにします。

ヘッジリクエスト

遅い呼び出しの 2 つ目のコピーを送り、最初の答えを採用します。まれな遅いサーバーがテール遅延を決めなくなります。

グレースフルデグラデーション

システムがすべてをこなせないときは、高コストな機能から先に切って、製品の中核が動き続けるようにします。

ヘルスチェックとフェイルオーバー

各サーバーを監視し、応答しなくなったらトラフィックを送るのをやめ、ゾーン全体が落ちたらスタンバイへ移します。

カオスエンジニアリング

自分のシステムを定期的に、監視の下で壊して、障害に先に弱いリンクを見つけます。

デプロイと変更#

システムを止めずにリリースし、移行します。

運用と可観測性#

システムを見て、目標を定め、壊れる日に備えます。

ゴールデンシグナル、RED、USE

すべてのサービスで 4 つ、遅延、トラフィック、エラー、飽和を見て、すべてのリソースでもう 3 つを確認します。そうすれば、誰かがログを開く前にダッシュボードが「何が壊れているか」に答えます。

SLO とエラーバジェット

ユーザーが気づく信頼性の目標を決め、それが許す失敗を予算として扱い、残りの予算で出荷するか固めるかを決めます。

平均ではなくパーセンタイル

平均ではなく p50、p95、p99 を報告します。平均は、実際のユーザーが訴える遅いリクエストを均して消してしまうからです。

分散トレーシングとテールサンプリング

1 つのリクエストをトレースとしてすべてのサービスにまたがって追い、終わった後にどのトレースを残すかを決めるので、遅いものと失敗したものがサンプリングを生き延びます。

ランブックとオンコール

一度に 1 人をオンコールに置き、チームがすでに対処した障害の直し方を書き残し、繰り返すものは自動化します。

ディザスタリカバリの段階

失われたリージョンに備えてどれだけのスタンバイ容量を持つかを、バックアップだけから常時トラフィックをさばく 2 つ目の拠点まで選び、必要な速さに払います。

RPO と RTO

あらゆる災害に対して、失ってよいデータ量と落ちていてよい時間の 2 つの目標を決め、そこからバックアップとスタンバイの設計を選びます。

セキュリティとエッジ#

玄関、暗号化、シークレット、データを置ける場所。

コスト#

使った分だけ払い、ユーザー 1 人あたりのコストを知ります。

実運用で動いた形#

実際のシステムが大規模に担った形と、その理由を示すボード。

9 台のサーバー、1 つのデータベース: Stack Overflow

Stack Overflow は 1 つの SQL Server と少数の大きな Web サーバーを保ち、その隣に Redis と Elasticsearch を置きました。

ショップ単位でシャードする:Shopify

Shopify は MySQL のフリートをショップごとのポッドに分け、各リクエストを所有するポッドへルーティングしました。

チャンネルでメッセージを分割する: Discord

Discord は何兆ものメッセージをワイドカラムストアに保存し、チャンネルと時間で分割し、クォーラムで読みました。

エッジを自前で持つ: Netflix

Netflix は自前の CDN を作り、データベースの前に memcached の層を置いたので、動画もパーソナライズされた読み取りもオリジンに届きません。

クラスタ間でテーブルを移す: GitHub

GitHub は 1 つの MySQL クラスタをスキーマドメインに分割し、その後 Vitess と書き込みの切り替えでテーブルを別々のクラスタへ移しました。

キューの前のキュー: Slack

Slack は Redis の前に Kafka を置き、ジョブのバーストがキューのメモリを埋める代わりに耐久性のあるログで待つようにしました。

グラフの前のキャッシュ: Meta

Meta はシャーディングした MySQL の前にライトスルーの memcached 層を置き、シャードごとに 1 つのプライマリリージョンを保ちました。

ブロックテーブルをシャードする:Notion

Notion はブロックテーブルを 480 の論理シャードに分け、変更を Kafka 経由でデータレイクへ流しました。

ルーターの後ろで Postgres をシャードする:Figma

Figma は Postgres を手放さず、垂直分割が尽きたあとに水平シャードの手前にクエリルーターを構築しました。

エッジルールをカナリアする: Cloudflare

1 つの WAF ルールが Cloudflare のすべてのエッジの CPU を 100% にし、修正はグローバル展開の前のカナリアでした。

ID にシャードを入れる: Pinterest

Pinterest は 4,096 の MySQL シャードを動かし、各オブジェクトの 64 ビット ID にシャード番号を符号化したので、読み取りは参照サービスを必要としませんでした。

ドメインごとに 1 つのゲートウェイ: Uber

Uber は 2,200 の重要なマイクロサービスをドメインにまとめ、各ドメインの前にゲートウェイを置き、ドメイン間の呼び出しにはメッシュを使いました。

ブロブに索引を張る: Dropbox

Dropbox は Magic Pocket の不変ブロブの前にシャーディングした MySQL の Block Index を置き、読み取りを 1 回のハッシュ参照と 1 回のブロブ取得にしました。

シャードをオンラインで移す: Stripe

Stripe は数億のオブジェクトをダウンタイムなしで移し、その後、アプリが書き込み続ける間に MongoDB のシャード間でチャンクをコピーする Data Movement Platform を作りました。

壊れたとき#

設計を変えた障害と、依存関係を示すボード。

ゲームの外#

Quorum では組めないパターンと、読む価値のある参考文献。

サーガ

サーガは、複数のサービスにまたがるビジネストランザクションをローカルトランザクションの連鎖として実行し、あとのステップが失敗したら完了したステップを補償トランザクションで取り消します。

CQRS(コマンドとクエリの責務分離)

CQRS はデータを変えるモデルと読むモデルを分けるので、両側をそれぞれの仕事に合わせて形作り、スケールできます。

イベントソーシング

イベントソーシングはすべての変更を追記専用のログにイベントとして保存し、それを再生して現在の状態を組み立てます。

サイドカー

サイドカーは、メインのアプリケーションの隣で独自のプロセスやコンテナとして動き、ログ、プロキシ、セキュリティといった共通の雑事を引き受けます。

腐敗防止層

腐敗防止層は自分のモデルとレガシーや外部システムのモデルの間で変換し、古い設計が新しい設計に漏れないようにします。

フロントエンド向けバックエンド

フロントエンド向けバックエンドは、ウェブや iOS、Android などクライアントの種類ごとに小さな専用バックエンドを持たせ、1 つの共有 API にしません。

APIコンポジション

APIコンポジションは複数のサービスにまたがるクエリを、各サービスを呼び出して結果をメモリ上で結合することで答えます。

2 フェーズコミット

2 フェーズコミットは、複数のデータベースが 1 つのトランザクションを一緒にコミットするか中断するかを決められるようにし、まず投票してからコミットしますが、コーディネーターが落ちるとブロックする代償があります。

CRDT(競合しない複製データ型)

競合しない複製データ型は、各レプリカが自分で書き込みを受け付け、それでも調整なしに同じ状態へマージできるようにします。

スティッキーセッション

スティッキーセッションは、ロードバランサーがクライアントを最初に使ったサーバーへ戻すようにし、そのサーバーのメモリがクライアントの状態を持てるようにします。

ロングポーリングとサーバー送信イベント

ロングポーリングとサーバー送信イベントを使うと、WebSocket の双方向接続なしに、サーバーが素の HTTP で更新をブラウザへ押し出せます。