Microsoft365
Microsoft 365大規模障害、原因はメンテナンス自動化のバグ
Microsoft 365とAzureで約5時間にわたる大規模障害が発生した。原因は定期メンテナンスの自動化システムに潜んでいたバグで、安全チェックが誤った対象を検証していた。 「安全確認済み」の対象が違った 現地時間7月23日午前10時44分(協定世界時14時44分)、米国西部リージョンのAzureデータセンターで定期的な機器メンテナンスが始まった。ネットワーク経路を切り離して機器を保守に回す、日常的な作業だった。 Microsoftのメンテナンスプロセスでは、メンテナンス要求を実行可能な命令に変換する際、冗長経路2本のうち少なくとも1本が正常に機能しているかを事前に確認する。片方を切り離しても、もう片方で通信が維持される状態を担保してから作業に入る。 この変換処理にバグがあった。本来の対象ではないネットワーク機器まで保守対象に含めてしまい、安全チェックが検証した範囲と、実際にIPルートが削除された範囲がずれた。 米国西部データセンターとMicrosoftの広域ネットワーク(WAN)の間で、予定外のルートが消えた。外へ出るトラフィックも外から入るトラフィックも止まった。リ