4月3日、フレッツ光で3時間にわたる大規模障害。NTT東西の設備故障 27
ストーリー by nagazou
バグか何かかな 部門より
バグか何かかな 部門より
NTT東日本およびNTT西日本の提供する光回線サービス「フレッツ光」にて、3日7時10分頃より約3時間にわたり障害が発生した。この障害はNTT東日本では3日10時8分、NTT西日本では3日8時49分に復旧が完了したとされている。同社はこの障害に関して同日の午後6時からオンラインで会見をおこなった（NTT東日本[PDF]、NTT西日本[PDF]、PC Watch、PC Watchその2）。
障害は午前7時10分~午前10時8分までの2時間58分に渡って発生。光アクセスサービスで最大35万9000件、そのうち、ひかり電話で最大18万6000件に影響したとされる。会見では両社ともに「多くの利用者に影響が出たこと、1時間以上にわたる障害であること、緊急通報も利用できない状況であったことから、重大事故にあたると認識している」と述べている。
原因に関しては、NTT東日本では49ビル/89台の加入者収容装置で、NTT西日本では21ビル/27台の加入者収容装置において、特定の配信サーバーからのパケット受信に起因して、障害が発生したという。NTT東日本およびNTT西日本が導入している、特定の海外メーカーの加入者収容装置だけで同時に障害が発生したとのこと。その機種の一部の装置で障害が発生した模様。両社は会見で「現在、詳細な原因の究明と抜本対策を急いでいる」と述べている。
障害は午前7時10分~午前10時8分までの2時間58分に渡って発生。光アクセスサービスで最大35万9000件、そのうち、ひかり電話で最大18万6000件に影響したとされる。会見では両社ともに「多くの利用者に影響が出たこと、1時間以上にわたる障害であること、緊急通報も利用できない状況であったことから、重大事故にあたると認識している」と述べている。
原因に関しては、NTT東日本では49ビル/89台の加入者収容装置で、NTT西日本では21ビル/27台の加入者収容装置において、特定の配信サーバーからのパケット受信に起因して、障害が発生したという。NTT東日本およびNTT西日本が導入している、特定の海外メーカーの加入者収容装置だけで同時に障害が発生したとのこと。その機種の一部の装置で障害が発生した模様。両社は会見で「現在、詳細な原因の究明と抜本対策を急いでいる」と述べている。
故障って経年劣化によるものだけだと思ってた(小並感) (スコア:0)
某加入者収容装置で、特定のパケットを受信すると再起動を繰り返すって装置に不具合があるってこと？
Re:故障って経年劣化によるものだけだと思ってた(小並感) (スコア:2, 参考になる)
今の所はそうっぽい。
予備系も死んだからソフトのバグだと思われる。
ロングパケットらしいし、Cisco IOS XEでちょうど特定ロングパケットでリブートするセキュリティアドバイザリーが出てる。
https://www.cisco.com/c/ja_jp/support/docs/csa/2023/cisco-sa-ipv4-vfr-... [cisco.com]
Re:故障って経年劣化によるものだけだと思ってた(小並感) (スコア:1)
Re: (スコア:0)
アタックの可能性は低いと言ってたが、そんなのを踏んでしまうとはなんとまぁ運が悪い。
Re: (スコア:0)
相変わらずCisco IOSは永遠のベータ版品質だなぁ・・・
Re: (スコア:0)
IOS-XEは今Linuxで、その上でIOSが仮想で動く仕組みでしたっけ(？)なんかどんどん複雑化してますよね。IOS-XEが無事でもIOSがリブートしたらサービス不能なのは一緒ですが。
Re: (スコア:0)
もともと持っていたバグでしょうね。
それが、3日の午前7時頃より開始したどこかのサービスによる通信により発現した。
そのサービスはなんだ？
そして発生した機器のメーカーは？
そこをネットワーク屋さんたちは興味津々でガリガリとググってるよ。
たぶん。
Re: (スコア:0)
#4437922 [srad.jp]
Re: (スコア:0)
♪四分後の重複ぐらい大目に見てよ
Re: (スコア:0, 参考になる)
abeウソコつぶしに地味に気合入ってますからね。
Re: (スコア:0)
すまんな。
遅筆で。
しかも今日はスラドがなんだか重くてだな、レビューにも応答が帰って来なかったりで投稿できた時には別の人が答えらしきものを投稿してたんよ。
書き出しの時にはまだ投稿は無かった。
Re: (スコア:0)
なんか既視感が・・・・
その、「特定のパケット」が再起動時の初期化で発するもので
近隣に伝播していくとかないかな
なんか既視感が・・・・
Re: (スコア:0)
大事なことなのですね
Re: (スコア:0)
リブートしたのかも
Re: (スコア:0)
AI Chatに質問を投げたら。
「○○とは△△となるよう○○を考慮する必要があります。」
という文章を延々と繰り返した。
アプデ (スコア:0)
ファームウェアのアップデート的な感じが
自動で行われようとして
みたいな感じなのかな
やっぱり (スコア:0)
ダウンが許されない基幹系は異なる機器で冗長化するしかないのかな？
現実的なコストで可能な気はしないけど……
# 同じNICでボンディング組んだサーバがドライバのバグで両系ダウンになったことがある。
Re: (スコア:0)
数年前のソフトバンクの大障害の時は「違うメーカーの機器で冗長組むのは当然」みたいな空気でしたがねぇ
重要インフラなんだからそのくらいやってて欲しかったね
Re: (スコア:0)
> 「違うメーカーの機器で冗長組むのは当然」
のニュアンスが良くわかりませんが、現実的には機能的なところや相互接続性の問題でそんなことは不可能かと。
Re: (スコア:0)
正副２系統を別のベンダーで用意するのは普通に出来ると思うが
一瞬全断するけど、何時間も使用不能になるよりマシ
Re: (スコア:0)
異ベンダで直接HAを組めって話ではなく、稼働系と待機系のシステム一式をそれぞれ別ベンダで構築しろってことでは。
局舎/AZ/リージョンごとにベンダ分けたりとか。
Re: (スコア:0)
今回のようなL3装置(ルーター)でベンダを分けるってのは、稼働系はApacheで、待機系はNginxで構築しろぐらいのもんだ。
HTTPは標準化されてるプロトコルだからね。まあわかる。
ソフバンのようなMMEでベンダを分けるってのは、稼働系はOracleで、待機系はSQL Serverで構築しろぐらいのもんだ。
はぁ？
SQLなんて方言もりもりでチューニングもクセも全然別もんだろ。できるかボケ。
Re: (スコア:0)
おじいちゃん、W-SIMはとっくに使えないのでイエデンワに差してもだめですよ
Re: (スコア:0)
スマホをガッチャンコするイエデンワがあるといいなあ。
Re: (スコア:0)
携帯電話でもそうだけど、ちゃんと違うキャリアで二重化しとけとあれほど…
ただCATVも最近NTT系光回線使ってるところ増えたからなぁ。元電力系ダークファイバー借りられるサービスじゃ無いと二重化出来なくなってきてるのがなんとも…
携帯回線での二重化は5人までの事業所向けって感じだね、今のところ。10人ほど試しに放り込んだら苦情が爆発した。