本番環境などでやらかしちゃった人 Advent Calendar 2024 19日目の記事です。 先に結論 本番サーバで安直に初めてのオペレーションを行ってはいけません。 はじめに 10年以上前のある日、Linuxサーバの管理をしているとき『shutdown』ユーザーにスイッチしたところ、予期せぬ形で本番サーバが停止してしまいました。 背景 本番サーバを管理している際、偶然にも『shutdown』という名前のユーザーアカウントが存在していることに気付きました。初めて見た名前だったため、当時の若かりし私は躊躇なく興味本位でそのアカウントにスイッチを試みてしまいました。 shutdownシステムアカウントとは？ 昔は一般ユーザが容易にシャットダウンを行えるために（セキュリティ上その有効性には議論があるものの）『shutdown』というパスワード無しでログイン可能なアカウントが存在していました。
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? もう10年ぐらい前の話なので懺悔として記載します。 背景 まだ駆け出しのネットワークエンジニアだった私は、先輩から「こういうルータ作ったんだけど動作検証しといて」と資料一式を渡されました。 店舗の重要性が増してきたため、店舗のWAN回線を冗長化したいという商談でした。既存環境の設計書やコンフィグもあり、追加WANルータのコンフィグも既に先輩が作ってくれていました。私は試験仕様書を書き、検証環境を組み、冗長化試験を行いました。特にコンフィグを訂正することもなく試験は完了したため、先輩に引き渡しました。なのに・・・本番環境ではうまく動かなか
愛知県に本社があるスギ薬局グループの全国の店舗で、「うるう日」が原因とみられるシステム障害が発生し、一時、処方箋の登録や会計ができなくなりました。会社によりますと、システムは午後1時ごろまでに復旧したということです。 スギ薬局グループによりますと、29日朝、全国の店舗から「処方箋のシステムが使えない」という問い合わせを受け、システム障害の発生が確認されました。 愛知県のほか関東や関西など、全国におよそ1300ある調剤ができる店舗で、処方箋を登録したり会計をしたりするパソコンのシステムが一時、使えない状態になり、各店舗の薬剤師が緊急性があるものについては、薬を出したうえで後日、会計してもらうよう対応したということです。 会社によりますと、原因調査を行ったうえ、システムの改修プログラムを各店舗に送り、システムは午後1時ごろまでに復旧したということです。 今回、障害が起きたシステムは3年ほど前に
全国銀行資金決済ネットワーク（全銀ネット）とNTTデータは12月1日、10月10日〜11日に発生した全銀システムの大規模障害の真の原因を明らかにした。 全銀システムは、日常の振込や送金をリアルタイムで処理するシステムで、国内のほぼすべての預金取扱金融機関が利用している。10月のシステム障害では三菱UFJ銀行、りそな銀行など10行で、他行宛の振り込みができないなどの障害が丸2日間継続した。 障害は、全銀システムの中継コンピューターを新機種「RC23シリーズ」へ交換し、その後営業運用を開始した直後に発生した。RC23シリーズ内の「銀行間手数料を処理するためのインデックステーブル」が破損しており、同テーブルを参照する際の処理でエラーが生じたためだ。 中継コンピューターは東京と大阪に1台ずつ、冗長化として設置されていたが、2台同時に新機種のRC23シリーズに切り替えたため、2台ともにソフトウェア障
米Twitterも認めたプラットフォームで2月9日午前7時ごろから続く不調。10日の午前7時現在、幾つかの問題は解消されたが、公式アカウントから復旧したかどうかの発表はまだない。 そんな中、Twitterの動静を追っている米メディアPlatformerは現地時間の9日、「API呼び出しの回数制限を超えました」と表示されるエラーの原因が、Twitter API v2のレート制限を設定する社内サービスのデータを、従業員が誤って削除してしまったことだと報じた。このサービスを担当していたチームは昨年11月にTwitterを去ったという。 「Elon Musk fires a top Twitter engineer over his declining view count」（イーロン・マスク氏は、ビュー減少を理由にトップエンジニアを解雇する）というタイトルのこの記事では、マスク氏がTwitter
Published 2023/02/06 19:23 (JST) Updated 2023/02/06 19:33 (JST) 総務省の有識者会議は6日、携帯電話などの通信サービスで、法令上の「重大な事故」が起こる恐れがある場合に、事業者に報告を求める制度の考え方を示した。障害の発生後に報告する今の仕組みに加える形で導入する。通信が暮らしや経済に欠かせない基盤となる中、事故を未然に防いだり、被害を抑えたりすることを目指す。 新たな制度は、2022年6月に成立した改正電気通信事業法に基づく。報告を受けた総務省が必要に応じて助言するほか、他の事業者に注意喚起したり、有識者会議で検証したりすることを想定している。
携帯大手のKDDIは、2日未明に発生したauの携帯電話などの大規模な通信障害について、発生から62時間以上がたった4日午後4時時点で全国でほぼ回復したと発表しました。 KDDIは4日午後8時から技術担当の専務がオンラインで記者会見を開き、全面的な復旧の判断は5日の夕方になるという見通しを示しました。 吉村専務 障害長引いた原因「何らかの原因で負荷減らず」 KDDIの技術担当の吉村和幸専務は、音声通話やデータ通信がほぼ回復したと発表するまでに62時間以上かかるなど、通信障害が長引いた原因について「当初はきのう行った復旧作業の結果、システムへの負荷が減ると見込んでいたが、何らかの原因で実際には負荷が減らず、調査を行っていた」と述べました。 そのうえで、吉村専務は、4日の午前中になってシステムの負荷の原因が明らかになったため、昼すぎに必要な措置をとったところ、負荷が下がり、音声通話やデータ通信が
みずほ銀行で2021年8月20日、営業店の窓口業務が全面停止するトラブルが発生した。前日の19日午後8時53分ごろに営業店端末と勘定系システムをつなぐサブシステムで、データベース（DB）サーバーがディスク装置の故障をきっかけに停止したためだ。待機系DBサーバーへの切り替えも失敗、副データセンター（DC）に処理を切り替えた。副DCへの切り替えに着手するまで11時間超を要し、業務開始に間に合わなかった。 みずほ銀行で2021年8月20日、全463店舗で営業店端末や店頭のタブレット端末が使用不能になった。午前9時の開店から午前9時45分までは全ての店頭取引ができなくなり、その後も午前11時58分まで融資や外国為替（外為）の一部取引ができなくなった。営業店端末などと勘定系システム「MINORI」をつなぐサブシステム「業務チャネル統合基盤」が前日の8月19日午後8時53分ごろに停止したためだ。 業務
平素はLINEをご利用いただきありがとうございます。 「LINE」アプリにおきまして、2021年4月12日 15時9分から16時1分の約50分間、メッセージを送受信できない等の障害が発生しました。 ユーザーの皆様にご迷惑やご不便をおかけしましたことをお詫び申し上げます。障害の詳細と対応状況は以下の通りです。 1. 障害の詳細 当社が利用している国内データセンター提供事業会社の誤作業に起因し、「LINE」のメッセージを送受信できない等の障害が発生しました。同外部事業会社において、本来電源停止を伴わずに電源設備のメンテナンス作業を行うべきところ、同社の誤作業により複数のネットワークやサーバー機器の電源断が発生し、通信ができない状態が続きました。メッセージの送受信や通話ができない等の状態となり、日本国内に加え海外のユーザーも影響を受けました。LINEは15時9分に障害が発生した後、事象を認識して
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
