クラッシュしたハードディスクの復旧

前書きのゴタク

会社の規定でパートになるという年齢の節目で退職することにし今やプータローである。
もともと社内には技術系が少ない会社で、主に外部調達の製品を見て来たが、とんでもない会社に発注しようとしたり、いい加減な打ち合わせや監査で商品を調達しようとする傾向があり、それを普通の状態に戻すというのが仕事なので、重役連を含めたセオリーを知らない連中にセオリー通りやって貰えれば簡単に成果が出る仕事である。
世の中には、基本的な品質管理も安全上の設計の常識も知らに連中が実はたくさんいる。

もっとも、基本的な知識や理解力が無い人には道理を説くよりも、脅したりすかしたりの手練手管の方が効果が高いのでまっとうなエンジニアの端くれにいたはずが、ただの技術バカで済まなくなり、ますます性格が悪くなる。

ようやく最低限のレベルの話で文句をいわずに済むようになってきたのでまっとうな人間に戻るのである。
それまでの資料の体系化や、部下の教育で忙しく、有給を退職までに消化するというありがたい風習もほとんど使う暇もなく、何とか引き継ぎを終了させた。
しばらくのんびりと英気を養なって、悠々自適ができるほど蓄えがないのでそれから面白い遊び、もとえ仕事を探そうと考えていたらとんでもない。
年金やら保険、税金だと、良くわからないことを自分で処理する必要が生じ。身の回りのことも今までほったらかしてきたので、意外とやることが山積みで結構忙しい。
本や資料は、ロクに見ていないものを含めて全てドキュメントスキャナ等でPDF化して目の前から消すことでプレッシャーを緩和し（どうせほとんどは陽の目を見ることはない）、ほとんどボケている母親の負担をかみさんから少し手伝うなど暇を持て余す余裕などない。

ようやく少し落ち着いて、久しぶりにラジコン飛行機に戻ろうとまともな水上機も持ってないのに水上機合宿に行って来た。

それでついつい簡単に作れそうな水上機を衝動買いしたものの久しぶりに新造機と組立が楽勝し過ぎてトホホな結果になり

気を取り直して飛ばした定番の機体では、あまりの下手さにキャノピーが空中で緊急脱出しひらひらと草深いほとんど人跡未踏の地へ落ちて行き、捜索にPhantomの空撮と飛行データと画像処理を駆使して最後は緯度経度をピンポイントで特定してなんとか回収するというトホホぶりである。

これは自戒を込めて久しぶりにブログにあげようかと思っていたら、今度はパソコンのハードディスクがクラッシュした。

会社では、やかましくデータの保全をうるさく言ってUNIXの優れたシステムを踏襲したアカウントごとに削除や変更を制限した多重でかつデイリーバックアップシステムを近隣の部署を含めて構築したうえでリンクや命名機速まで使って管理しているのに、家ではいい加減なバックアップしかしていない。
最近使っているファイルはクラウドを利用して数か所にバックアップされているはずだが、古いデータや大量の動画はどこにどう入れているかも曖昧である。

古いデータなんぞたいした価値がないと言い切れれば良いのだが、そもそも何が入っていたのかもわからないのである。

緊急事態である

今回、幸い上手く行ったので忘れないうちにメモとして残しておこう。

HDDクラッシュの種類

HDDからデータを読み出せなくなる原因にもいろいろある。思いつくままに述べると

落としたり衝撃を与えたり、その他自分は何もわるいことしていない（はず）なのに物理的なダメージで壊れる場合
経年劣化、設計不良などにによる電気回路の不具合
ソフトウェアの不具合で、間違ったデータが書き込まれる場合や、正しい動作をしなくなる間違い
そして結構多いのが劣化によるデータの一部が読み取れなくなる現象。今回はこれのようだ

ハードディスクは、ノッペラペラのガラス製の板の上に蒸着された金属に垂直磁化方式とで、ものすごい密度でデータを書き込んでいる。
さらに磁化の向きや強さだけでくっきり記録するより、ボーっと薄く広く記録した方が記録密度が上がるとかいうことを元NASAの頭の良い人がかんがえだしたとかで、詐欺としか思えないような深遠で巧妙でいかがわしい方法で記録密度を上げているらしい。
ボーっと記録していてもパリティだかCRCだかのチェックをすることで一回読み込みに失敗しても何回か読みとれば正しく読み取れ、データの生き残る確率が上がるとかいうメリットがあるらしいが、自分の理解力の上限を超えているのでどこまで正確かかなり怪しい。

説明の正確さはともかく、最近のHDDは何回かトライして失敗が続くと代替セクターというところにデータを書き込むことでその怪しい部分を使わなくすることで劣化に対してさらなる安全性を与えるらしい。

さらに　S.M.A.R.Tとかいう名前の管理システムを持っているものが大半で、これで不具合の状態をある程度外部から把握できる。これがスマートという名前ほど本当に賢ければ良いのだが、実際には結構突然クラッシュする場合が多いらしい。
たとえば代替が間に合わないとか、代替の効かない基本的なセクターが存在するとか、外部の人間には簡単に伺い知れない事情があるのだろう。

もっとも、今にしてみれば今回は予兆があったようだ。

HDDクラッシュ予兆

物理的なトラブルの場合は、HDDから異音がするとか異常に熱いとかの、わかり易い症状が出る場合が多く早く気が付けば損傷をその分押さえられるだろうが、内部の劣化によってデータが読めなくなる場合は、数回の再読み込み時間の増加など、気の迷いほどの時間もかからないだろうし自動的に代替領域を使った場合はデータ損失は無いので不具合と現れずにSMARTの情報を適切に見に行くなどしなければわからない場合も多いかもしれない。
代替処理が上手くいっていればいちいちそのことを通知されても、だから何って人の方が圧倒的に多いだろう。

問題は、データが消えて読み込めなくなったときである。
それがデータの一部であるならば、そのファイルだけの問題である。
それが、ファイルがどこに記録されているかというようなファイルシステム上などであれば全体が読めなくなる場合があるかもしれない。

今にして思えばファイルエクスプローラーが普段異常に反応しない時間が長い時があり、またクラッシュの直前にEveryThingというキャッシュ情報を使っている超高速のファイル検索ツールがかたまるという現象が発生した。

今にして思えば、ファイルシステムに関わる部分で読み取りに失敗していたので読み取りに時間がかかったのかもしれない。
（EveryThingが固まったときは読込ができなくなっていたのかもしれない）

今回のクラッシュの様子

クラッシュといっても黒焦げになっていたり、衝撃で箱がめくれあがっているとかいうわかり易い絶望的な状況では無く、外観はいたって普通なのにデータが読みだせないという場合がほとんどであろう。

今回は、突然ポップアップウィンドーが出て来て、「（SMARTにより）Fドライブが異常なので、この対処方法を印刷してから自動バックアップを行うか、手動バックアップを行ってください」とかいうような指示がでた。

あわててファイルエクスプローラーを見るとFドライブの中身が表示されていない。

ちょっと期待して先ほどの対処方法印刷のボタンを押すと、内容は

「ハードディスクエラーの修復に関する手順」という大層なタイトルのしたに、バックアップを強く勧めるということと、メーカーに連絡してディスクの修理か交換をしろという、どこの間抜けが考えたのか役に立たないどうでも良い情報がで書いてあるだけである。

この文で唯一役に立つのは、ディスクの名前とドライブ名が印刷されていて、自分でどのディスクか探してメモを取る必要が無いと云う事だけだろう。
こういうときのマイクロソフトの文を一瞬たりとも希望を持った自分がバカだった。

ポップアップ画面で選択肢として真っ先に上がっている自動バックアップなんて、ファイルが読めないのに今更何の意味があるのか？
もし、読み込めなくなったドライブをなんとか読み込もうとしてくれる自動バックアップツールが実際にあったなら巷にはもっとマイクロソフトへの称賛の声で満ち溢れているだろう。
実際には、信じて悪化させる痛い経験を何度も学習している。

バックアップは重要だが、それはまだ中身が読めている状態の時だ。
（復元ポイントの作成なら、念には念を入れると言う程度の意味があるかもしれない）

ともかく、こういうときはトラぶったディスクへ書き込みする可能性は避けなければならない。
一部のファイルが読めなくなる場合とはレベルが違う。

なお、全面的に読めなくなるクラッシュでなく一部のファイルがおかしくなる場合も、それがバックアップの無い重要なファイルならば、直ちにそのドライブを停止させてファイルの復活を目指すべきかもしれない。ファイルの復活の手間は簡単ではないし、この場合データがピンポイントで消えている可能性が高いので戻る確率は低い。どうしても復活させるなら、高い金を払ってでも、残った痕跡から復旧させるべく設備の整った業者に依頼するべきだろう。
その場合でもそこに上書きされると復活は絶望である。
朝日新聞に載っていたHDDのデータは完全に消せないとかいう記事はでたらめである。上書きされても前にデータが読めるような、そんなちゃらいHDDなんて効率が悪くて売れるわけがない

S.M.A.R.Tは CrystalDiskInfo という定番のフリーウェアで見れるが、今回はこのツールの起動に時間が掛かった挙句、Fドライブが認識されなかった。
読み込もうとするとドライブとして認識できる程度のドライブの名称などは帰ってくるが、SMARTの情報は帰って来ないということなのか？

ドライブとして認識できるなら、ローレベルでディスクの様子を調べるツールならもう少し詳しいことがわかるだろう。
そういうツールはパーティション関係などでいくつかあるが取敢えずお手軽で良く使っているWidowsの機能のひとつを使う。
ファイルエクスプローラーの、「マイコンピュータ」を右クリックすると出て来る「管理」を呼び出し、その中の、ディスク管理を見る。
このダイヤログは、コンピュータが怪しい動きをしたときのログを見るのにも使うが、ディスクのパーティションやフォーマット、ドライブの割り当てなどを操作するときに良く使う。

ここには、ちゃんと表示されている。（図のクリックで拡大表示）
ここは、Windowsで使えるようになっていないHDDでも表示されるので、ハード的には生きていてWindowsのファイルシステムで扱うのに問題が起きているようである。
中身が見れないということは。パーティション（ディスクの中身の分け方）か、ファイルシステム（ファイルをディスクのどこに保存するかということ）に問題があって、通常の方法ではファイルにたどりつけないのだろう。

再起動するとWindowsが起動する前にBIOSでSMARTの異常を検知したBIOS画面がでる。ここでも問題のドライブ名が表示される。
HDD自体の様子を確認するためHDDをパソコンから取り出して外付けのHDDケースに入れる。
異音はせず発熱も特になく順調にディスクがまわっている音がする。
メカは正常の可能性が高い。
USB接続でもディスクの管理から同じように見えるのでUSBケースに入れたまま対策を考えることにする。HDDの電源は必要なときに入れれば良い。

アクセスしようとすると表示されるこのエラーは、データが正しいかどうかをチェックするための値が合わないということを指している。
データが読み取れる限界以上に劣化したとき等に発生する。

この表示が出ても、真に受けてフォーマットしてはいけない。
データが回復する可能性がさらに低くなる。

データの回復方法

データ回復の理屈

このようにパソコンからそのドライブが見えていたら、中身が見えなくてもデータが回復する可能性は高いはずだ。
HDDにアクセスできるなら、中のデータを直接読む方法が使える可能性が高い。
データはある単に毎に区分けされて記録されており、どこにどうつながっているかファイルシステムにより管理されているがそのファイルシステムが読めなくなっている可能性が高い。
昔良く使われていたフロッピーディスク程度の容量なら、それをバイナリーデータとしてHDDにコピーしていちいち調べる方法で結構復活する。
昔はハイライトを多いときは一日5箱、100本吸っていたので、ときどきフロッピーディスクが読めなくなる事故が発生する。
そのときはディスクを取り出して中性洗剤で洗ってから良く乾かして戻すと読めるようになる場合が多いが、ファイルシステムが壊れるた場合にはこの方法を使う。
ファイルの先頭はその種類に応じた固有の情報が書き込まれているので各ブロックの先頭のデータだけ見て行けばファイルの先頭が見つかる。
消去や上書きをしない限りデータは都筑のブロックに書きこまれるのが普通なので先頭のファイルが見つかったら次の先頭まで取敢えず繋げて見て、ファイルとして正しく働くか試してみる。
それでだめならファイルの先頭情報をマッピングして中身を見ながらつながりを推測していく。

これで結構簡単に見つかる。
断片化が激しい場合でも滅茶苦茶に分断されている場合は滅多にないので時間さえかければそのうち正解がわかる。

ただしこの方法が通用するのはデータ数が少ない場合だけである。
データの量が増えると指数関数的に選択肢が増えるので、生きている間にできる作業量を簡単に越えてしまう。
そこで、誰か頭の良い人が考えてくれた効率的な方法を探すことにする。
この手の需要はたくさんあるので世の中には結構あるはずだ。

クラッシュしたHDDからデータを復活させるアプリ

もう一度断っておくが、異音がでたり、ディスクがまわる音が聞こえないどの、中のデータを吸い上げられない機械的な故障は、まず、そういうものを修理できる腕がなければ無理である。
素直にいい業者を探した方が良い。（業者と言っても千差万別だからちゃんとハードディスクを分解して、ちゃんとしたセットに移し替えることができるレベルの業者を探すこと）

さて、ファイルシステムやパーティションが壊れているがメカ自体は生きているHDDからデータを吸い上げるソフトウェアツールをグーグルで探すのだが、キーワードが重要である。
「HDD復活」だけでは、高い値段を取る業者（手間暇考えると高いと言えない業者も多いとは思うが、プータローには無縁なので）がやたら出て来るので「CRCエラー」をキーワードに追加した（もっとましなキーワードが他いあるだろうけど）。
すると、

TestData　というGNU基準のフリーウェアが見つかった。
こいつは素晴らしい。
寄付してね、とか書いてあるが、貧乏人は寄付しなくても一切制限などない。

詳しい使い方は
このリンク先に詳しい（この文をクリック）
コマンドラインからの起動なので最近の普通の人には馴染みがなく戸惑うかも知れないが、こことその中にあるリンク
　「TestDisk」の使い方 - パソコントラブルと自己解決
　
http://pctrouble.lessismore.cc/software/testdisk.html からたどれば使い方が良くわかる。
やってみればそれほど難しくないし、やってみるだけの価値はある。
ただし、良くわからずに適当にやってしまう性格の人は、素直に業者に任せた方が良い。

現状（2019/12/21現在）での使い方として少し補足すると

ファイルを解凍するとたくさんファイルが出て来る
インストールの必要はあいので、この解凍したフォルダーでコマンドウィンドーを開く
開き方はファイルエクスプローラーでそのフォルダーをシフトキーを押しながら右クリックすると出て来る「コマンドウィンドーをここで開く」を選択する
このコマンドウィンドーで　TestDsik_win と打つとこのプログラムが起動する

使い方は、上のサイトなどを参照すること。
むずかしくない、ただし、復活を開始すると作業時間はすごくかかるはずである。そうでないとファイルは全く見つからないか、そもそもファイルは消えていないかである。

残念ながら自分の場合は、Fドライブだったディスクが検出されなかった。
しかし、TestDiskは、真っ先に試す価値は充分にあるツールだろう（回復元のHDDを回復先に選ぶというようなつまらないミスをしないように）

さて、次に見つけたのは、

EASEUS Data Recovery Wizard

とかいうソフトである。目立つためにかいろいろな呼び方や期間限定の版などがあってややこしいのが難だが
日経XTECHの記事ですごく褒めていたので試すことにした。
無料でも使えうがトータルの復活量で制限があり、１GBだか２GBの容量までである。
これで復活可能かどうかをチェックして、それ以上は有料版を買うことになる。

ちゃんと問題のHDDを認識し、スキャンもしてくれる。
スキャンは２TBのディスクで表示された見込み時間よりも少し長い７時間程度であった。

生きていたデータだけでなく、削除したファイルや、大昔に入れていてとっくに消したものまで可能性のあるものは手当たり次第検出するようだ。
ただしそういうものは実際に復活できない可能性が高いと考えた方が良い。

スキャンが終わればその結果を保存できる（すぐに復活させた方が確実だが）
調べた結果はフォルダーは展開してファイル単位まで見ることができる。
復活させるのにもまた長い時間がかかるので、余分だとわかっているものはできるだけ選ばない方が良い。

ファイルを1個単位で指定して復活できるおで怪しいものは最初に代表を選んで復活させて確認すると良い。

必要なファイルが無料で使える量を越えた場合は購入しなければならないが、無料版は、そのままアップデートすると、期間限定版以外の選択方法が見つからなかったので、期間制限の無い版を探して購入した。

https://www.easeus.com/datarecoverywizard/comparison.htm
ただし、無料版と検索結果が異なるのかこの中のData Recovery Wizard Proでは無料版の保存した検索結果は読み込めなかった。
そのまま期間限定版にアップデートしたなら再スキャンせずに復活できるのかもしれない（未確認です）。

期間制限の無いものにしたら、もう一度6時間くらい掛けてスキャンする羽目になった。

リカバリは、余分なものまで選んでしまったので恐ろしく時間がかかったが、記憶にある限りクラッシュ前に保存していたデータに関してはほとんど復活できたようだ。

詳しい使い方は、上の日経の記事などを見てもらいたい。

2020/3/17追加

EASEUS Data Recovery Wizard のダウンロードのURLは、
https://jp.easeus.com/data-recovery-software/drw-free.html
がちゃんとした入り口とのことです。

次回はRC水上機についての予定
その後、Phantomなどからデータを吸い上げる方法と探索物を探すためのツール（主にソフト）を書こうかなと思っている。あくまでも予定だけど、忘れないうちに書けるかしらん？

ケンさんのブログ

ラジコンヘリと飛行機

2019年12月21日 (土)