1. ホーム
  2. インフォメーション
  3. お知らせ
  4. スーパーコンピュータシステムのファイル消失のお詫び

コンテンツ

お知らせ

スーパーコンピュータシステムのファイル消失のお詫び

2021年12月28日(火曜日)掲載


京都大学学術情報メディアセンター
センター長 岡部 寿男

2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました.

皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます.

今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解をいただきますよう,どうぞよろしくお願いいたします.

ファイル消失の影響範囲

・対象ファイルシステム: /LARGE0
・ファイル削除期間:2021年12月14日 17時32分 ~ 2021年12月16日 12時43分
・消失対象ファイル:2021年12月3日 17時32分以降,更新がなかったファイル
・消失ファイル容量:約 77TB
・消失ファイル数:約 3400万ファイル
・影響グループ数:14グループ (うち,4グループはバックアップによる復元不可)

障害情報:【スパコン】ストレージのデータ消失について
http://www.iimc.kyoto-u.ac.jp/ja/whatsnew/trouble/detail/211216056978.html

システム構成:
https://www.iimc.kyoto-u.ac.jp/ja/services/comp/supercomputer/#system

大容量ディスク(LARGE)について
https://web.kudpc.kyoto-u.ac.jp/manual/ja/filesystem#large

ファイル消失の原因

スーパーコンピュータシステムの納入会社である日本ヒューレット・パッカード合同会社によるバックアッププログラムの機能改修において,不用意なプログラムの修正とその適用手順に問題があったことで,本来は不要になった過去のバックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下のファイル群を削除してしまう処理として誤動作しました.

日本ヒューレット・パッカード合同会社から提出された報告書を掲載します.
Lustreファイルシステムのファイル消失について (日本ヒューレット・パッカード合同会社)

今後の取り組み

現在バックアップ処理を停止しておりますが,プログラムの問題を改善し,確実に再発しない対策をした上で1月末までにはバックアップを再開する予定です.

ファイル消失後にバックアップが実行されてしまった領域のファイルの復元ができない状況となったことから,将来的にはこれまでのミラーリングによるバックアップだけでなく,1世代分の増分バックアップを残す等の機能強化を検討いたします.機能面だけでなく,再発防止に向けた運用管理についても改善に取り組みます.

一方で,機器故障や災害等によるファイル消失の可能性も含めて完全な対策は困難であるため,利用者の皆様におかれましても,重要ファイルについては別システムへのバックアップをお願い致します.


(2022年1月4日補足追記、2022年1月7日学外者の人数や利用者の総数等を追記)

本件は,当該システムの納入業者である日本ヒューレット・パッカード合同会社が開発,保守しているバックアッププログラムを同社の担当技術者がアップデートする作業において手順に考慮不足があり,想定外の動作となったことでファイルの消失が発生しました.影響を受けた利用者の方よりお問い合わせいただいたことで発覚し,問題の削除処理を停止いたしました.バックアッププログラムの動作不良に伴うファイル消失のみで,外部への流出などそれ以外の問題は発生していません.

バックアップが存在しないことで復旧できないファイルは,容量約28TByte,約2500万ファイルでした.
この値には復旧不要であるファイルも含まれるため,復元できないファイルの実質的な状況は,容量約8TByte,約350万ファイルです.

当該ストレージは,主としてスーパーコンピュータによる計算結果を保持するために用いています.直接的に復旧できないデータのうちスーパーコンピュータによる再計算で復元できるものについては,計算資源の補填などを検討しています.

今回のファイル消失において影響を受けた利用者の方は68名(うち学外利用者21名)でした.バックアップによる復元不可であったグループの利用者数は10名(うち学外者4名)でした.利用者には本学外の方(学生,教員,研究者)も含まれます.システムをご利用いただいている利用者の総数は約1600名です.

本センターが日本ヒューレット・パッカード合同会社に委託している業務であり,大学として運用管理体制に問題があったと考えています.再発を防止するために,バックアップの強化など含め運用管理方法の見直しに着手しています.


お問い合わせ 京都大学 情報部 情報基盤課 スーパーコンピューティング掛
E-mail:consultkudpc.kyoto-u.ac.jp
お問い合わせフォーム

お知らせトップへ戻る

 

Copyright © Institute for Information Management and Communication, Kyoto University, all rights reserved.