個人的なデータはどうやって管理してる？ 80
アクセスしないファイルは塩漬けにしておけ 部門より
eggy 曰く、
本家 /. 記事「Ask Slashdot: How Do You Manage Your Personal Data?」より。
私の問題を聞いて欲しい。私は随分と多くの個人的なデータ (ポルノや海賊版ソフト、また MPAA や RIAA 絡みのものではない) を所有している。そこで気がついたのだが、故障が起きたときのためにスペアドライブを少なくとも一つは用意しておくべきだろうし、ファイルシステムが壊れた場合には再構築する必要が出てくる。私の場合、容量が 200 GB 〜 2 TB の外付けドライブを幾つか持っているのだが、この 2 TB ドライブの調子がイライラするほど悪いので、ファイルシステムの問題なのかドライブの問題なのかを切り分けするのにデータを取り出してドライブをフォーマットする必要がある。しかしファイルを待避するための 1.6 TB の空き容量はどこにもなく、先程も述べたように、私の所有するドライブの中で最も容量の大きいものと同様の容量を持つスペアドライブが必要であるということに気がついたのである。
たとえ RAID を使っていたとしても、ドライブが某かの理由で故障したりファイスシステムを再構築しなければならなくなったら、同様にスペアドライブが必要となるだろう。私は壁にぶつかっているが、恐らく同じようなことで行き詰まっている人は私以外にもいると思われる。これは私の保有する個人データであり、データの整合性及びセキュリティーの観点から、この問題はとうてい私の手に負えなくなってきている。問題は悪化の一途を辿ることになるだろう。そして申し訳ないが「クラウド」は実践的な解決法としては認められない。またバックアップメカニズムとしてテープを活用するというのは経済的な理由から現実的な解決方法とはならない。ブルーレイディスクはせいぜい 50 GB しか保存できないし、大量のデータをバックアップするのに時間が永遠にかかってしまう上、その課程で人間が度々介入して操作しなければならない。
そこでお尋ねしたいのだが、予算が限られている個人が大量のデータを所有している場合 (スペア用空きドライブを用意する以外に) どんな選択肢があるだろうか。このような問題に対処するため、どんな解決策があるだろうか。
予算が限られている (スコア:3)
予算は本来データの価値によって決まるはずだ。
データの価値がないならバックアップする必要はないし、データの価値が少ないならハードディスクをもう一台買えば済むし
データの価値が高いなら、他のより寿命の長いメディアにバックアップするし、さらにデータの価値が高いなら遠隔地にバックアップを保管する。
特殊な例外として、自分以外の人にも普遍的に価値があるデータならばP2Pで放流することがバックアップ手段になるかもしれない。
一般的には、予算が予め決まっていてより信頼性の高いバックアップ手段を探すなら、最初に価値のあるデータと価値のないデータを分別整理するべきだ。
#今や2TBのハードディスクなんて1万円以下で買えるのに、それより安くする意味ってあるのかね、、
mhddfsで (スコア:3, 興味深い)
個人宅でもっとも求められるのは、最初にデータロストを避けることとで、その次に面倒な手間と機器設置スペース問題だと思う。
逆にあまり求められないのが、サービスダウンタイムだと思う。ごめんね、朝までに直すよでほとんど問題ない。
で、ダウンタイム軽減のためのRAIDとかよくわかんない自称安全なファイルシステムだと、扱い次第では、データロストすることもあるし、オペレーションミスで消してしまうこともある。
だからといって、バックアップ専用機の別PCを設置する場所もないだろうしね。
で、結論として行き着いたのが、HDDをmhddfsで束ねてスペースを確保して、それと同じものをもう一つ用意して、夜間rsyncする。
例えば、4台刺して、 2台をmhddfs で束ねて、残り2台もmhddfsで束ねるかんじ、、で、朝にrsync ね。
間違って消しても、 最長一日だったら復旧できる。
それに、mhddfsってext3とかの上にラップする形だから、mhddfsが壊れても個別ハードディスクは ext3 で mount できるしね。
データオールロストを徹底的に避けてる。
もちろん、同一PCの別のマシンにバックアップだから、OSのバグやストレージ上のrootでのオペミスには弱いけど、そこは割り切った。
また、mhddfsは書き込みパフォーマンスの問題もあるけど、個人のストレージだし、VM を nfs mountとかするわけでもないし、そこまでシビアなものはないから、まーいいか的な感じで。
http://d.hatena.ne.jp/rti7743/20110726/1311688637 [hatena.ne.jp]
by rti.
Re:mhddfsで (スコア:2)
「金槌を持つと何でも釘に見える」みたいな話だなー。
冗長性と可用性と間違いへの耐性は別に考えたほうがいいぞ？
それはRAID0のバックアップをrsyncで取っているのとほぼ同等でしかない。
RAID0と違って性能アップはしないし可用性はドライブ単体より低い。
バックアップ直前の間違いに対してリカバリー手段もない。
それならバージョニング対応のファイルシステムをRAID1/6の上で使う方がずっといいと思うけどね。
# 自動で他の機械にバックアップを作るファイルシステムとか面白そうだな。
Re:mhddfsで (スコア:1)
バージョン管理ができるファイルシステムは理想だけど、それが壊れた時の復旧はどこまでできるの？
専用のバックアップマシンを設置するなんて、家庭では無理だし。
最悪壊れてもデータの一部はなんとしてでも復旧できるにしたいんだ。
うちの何とかというファイルシステムは理論的に絶対に壊れませんっていっているファイルシステムのリカバリー屋がなぜあるのか、世の中は不思議がいっぱいだぜ。
>それはRAID0のバックアップをrsyncで取っているのとほぼ同等でしかない。
RAID0にはならないと思うよ。
mhddfsが壊れても、元となる各ディスクは ext3 などで作られているので、局地的な復旧は可能になる。
ハードディスクやRAIDコントローラが死にました、だからデータ全部死にましたはない。
#イメージ的には、片肺になってもデータを取り出せる RAID1 に近いと思う。
シンプルな技術を組み合わせることで、とことんデータをロストしないシステムを目指した。
># 自動で他の機械にバックアップを作るファイルシステムとか面白そうだな。
なんか家庭内dropboxみたい。
家庭内ネットワークだと、機材をどこまで設置できるかによると思う。
by rti.
Re:mhddfsで (スコア:1)
まず、冗長性にも可用性にも寄与してないデータの堅さに関してはただの屋上屋でしかない「mhddfsが壊れても」って話がおかしいじゃん。
RAID0と同じってのは、トラックナンバーよろしく何台壊れたらデータが飛ぶ可能性があるか考えてみりゃ当然のこととして理解できるはずなんだがなー。
JBODの方が近いって指摘ならもちろんその通りだ。
さて、一度に故障するとデータが壊れる可能性のあるドライブの台数なわけだけど、RAID0も1台。mhddfsも1台だよな？
直接ext3使ってるのと同じか、容量に余裕がなければどれが飛んでも何かが飛ぶのでRAID0〜素のドライブ程度の強さしかないわけだ。
どれか1台でも飛んだらデータロスの可能性のあるシステムを「とことんデータをロストしない」と称するのは適当と言えるかい？
次に、rsyncのバックアップじゃ全然「とことんデータをロストしない」って条件を満たせない。
rsyncする間隔が1日だと巻き戻し可能な期間はは0〜1日になる。最悪値で0なのにオペミス耐性を特徴に挙げられる？
つまりだ、バックアップするならバージョン込みでバックアップする必要があるってこと。
そこでバージョニング対応のファイルシステム使えば便利何じゃないか？
逆にバージョニングなしでコピーしてもバックアップになってない可能性があるってのは今述べた通りだ。
ついでに言えばRAIDは充分、というかmhddfsよりはシンプルだよ？
RAID1ならRAIDとして扱わなくても見えるし、ハード的な代替可能性が大事ならSoftRAIDすりゃいいしな。
Re:mhddfsで (スコア:1)
>さて、一度に故障するとデータが壊れる可能性のあるドライブの台数なわけだけど、RAID0も1台。mhddfsも1台だよな？
データオールロストといえばよかったでしょうかね。
ディスク1 ディスク2 があって、 RAID0 してます。 ディスク1が壊れたら、ディスク2がハードウェア的に無事でも、データは取り出せませんよね？
ディスク1 ディスク2 があって、 mhddfs してます。 ディスク1が壊れたとしても、 ディスク2に書いている方のデータだけは取り出すことができます。
これの違いだと思います。
壊れ方次第では、データロストはもちろん、起きますよ。
ただし、その場合でも、データをすべて失うのか、一部のデータだけでも復旧したいのかの違いです。
家庭内のデータって愛着がって、しかも取り返しのつかないデータが多いと思います。
最悪、一部だけでも復旧したいという思いは強いと思うんですね。
>次に、rsyncのバックアップじゃ全然「とことんデータをロストしない」って条件を満たせない。
>rsyncする間隔が1日だと巻き戻し可能な期間はは0 01日になる。最悪値で0なのにオペミス耐性を特徴に挙げられる？
そこはどこまでの精度が欲しいか、そして手間をかけれるかの部分だと考えています。
家庭内ネットワークにおいて、朝のN時までならば、戻せますよで、ほとんどの場合問題ないと思います。
で、あれば、実装も運用も楽なこの方法で十分だと思いますね。
by rti.
Re:mhddfsで (スコア:1)
いつものことながら、日本語がおかしいな。
>同一PCの別のマシンにバックアップだから
同一PCの別のハードディスクバックアップだから
by rti.
Windows Home Server V1 (スコア:3)
Windows Home Server V1（以下WHS）は、余ったHDDを組み合わせて、構成を動的に変更できるスパンボリューム的な物を作れます。
大事なデータは異なるディスクに複製して保存できるので、クラッシュしても他のHDDからデータを復元できます。
で、RAIDと違ってアレイを分解することなく、ディスクを開放できるので、WHSで管理しておけば、アレイ構成を増やすも減らすも問題無しです。
WHSの問題点はこの機能を実現する為の拡張部分が遅いことでしょうか・・・
で、WHS V2ではこれらの機能が除外されました。
同等の機能をVVaultで実現可能です。
VVaultはWindows7等の非サーバOSでも動くので、現状はこちらを試すのが現実的でしょう。
つZFS (スコア:2)
なんでZFSが出てこないんだｗ
諦めるという選択肢 (スコア:2)
こんな解決策があってもいいのではないだろうか
Re:諦めるという選択肢 (スコア:1)
自分もそれを指示はしますが、 (スコア:1)
対策としては一応バックアップというか、並列環境を。
とはいっても、ここの所何度か飛んだので、実はアドレス帳以外はどうでも良いと気が付いた。
最近死んだPCも放置しっぱなしで別のPCから新PCへアドレス帳を写しただけで後何もしてないや。
Re: (スコア:0)
はい、諦められるようにエロデータはあえてバックアップをとっていません。
中途半端に残るよりは消えて貰いたいデータですから。
Re: (スコア:0)
それは選択肢ではあっても解決策ではない。
Re: (スコア:0)
Re:諦めるという選択肢 (スコア:1)
ストレージはいつか壊れる。
↓
壊れる前兆は存在しない。明日壊れるかもしれないし、10年後に壊れるかもしれない。
↓
ストレージが壊れたら家族の写真や動画は失われる。
↓
家族の写真や動画を失いたくなければ、バックアップが重要。
↓
ストレージの購入が必要。
と、主張してみてはいかが？
いいよ消えても、ってことなら諦めるしか。
（こっそりクラウドにバックアップというのも手ですが。）
古くて容量の小さいHDDを連結して使えばいい (スコア:2)
重要なデータだけでもルールを決めておく（他は放置） (スコア:2)
「あきらめろ」
しかないですねｗ
自分は，
本体 500GBHDD
外付け 1TB HDD
を基本として，その中でも，写真データとか重要なデータの入ったフォルダだけを
外付けの 2TBのHDDにTimeMachineでバックアップとってます。
さらに写真データについては１年ごとにBDにバックアップ取ってます。
ちなみに，写真データについてはベストショットをiPhotoに残し，悩んだものはセカンドフォルダに入れる。
セカンドフォルダに入れたものは，年末にBDに写真を焼く際に，同時にBDに入れ，元のHDDからは削除しておく。
そうすることにより，おそらく使わないであろうBDの方に心の棚を作ることになり，
メインスペースであるところのHDDには本当に必要なデータしか残らない。
これがベストだとは思いませんが，あまり障害については気を遣わなくても良いようになってます。
MP3データに付いては，基本的に元のCDは残ってるので要らないんですが，
いざというときにめんどうなので，BD辺りに残しておこうかなあ，と思案中。
※ちなみに，他に250GBのHDDを緊急用ブートディスクとして保存してます。
（緊急用と言うより，単にベータ版のOSを入れてるだけですけどもｗ）
効率の良い容量のドライブ (スコア:1)
ついでに故障の可能性が多少は減ることが期待できるので、ある程度は問題の解答にも。根本的な解決には結局はスペアしか無いと思う。個人的なデータがホームビデオの類なら、曾祖母やらの親類縁者にデータを押しつけることでバックアップに代える、みたいな工夫は良く聞くけど。
Re:効率の良い容量のドライブ (スコア:1)
データを親類縁者に押しつけると、そのサポートがもれなく付いてきてしまいませんか？
「これテレビで見られないの？」
「印刷したいんだけど、どうしたらいいの？」
「映り悪いんだけど修正してくれない？」
うちはそれに加えて、
「あなたもそろそろ身を固めないと」
みたいな大きなお世話まで付いてくるんですが。
お父ちゃんは大変だな (スコア:1)
知り合いが息子のムービーの保存で同じように悩んでいたっけな。
# ここ数日のスラドのスポンサーさんを立てるとすれば
# サーバ機買ってWindows Home Server入れろ、そしてファイルサーバにしろ、かな
Re:お父ちゃんは大変だな (スコア:2, おもしろおかしい)
そこでクラウディアさんに質問
「大量のデータ（ポルノや海賊版ではなく）を保存するのに使えますか」
クラウディア「……」
Re:お父ちゃんは大変だな (スコア:1)
無料かそれに近い安いサービスだと1アカウントあたりの容量制限が
ある。それを回避するとなると複数のサービス、複数のアカウントを
使って分散保存することになり手間かかるんですな。
また、クラウドにデータを送り出すためにはそれなりに太い回線が
必要なんだけども、100Mbpsより速い光回線サービス契約する
くらいなら100Mbps以下の契約にして、浮いた金でストレージ
買えよという話ですよね。諸外国なら回線事情はもっと
よろしくないですね。ISPによってはあまり上りの帯域を使いすぎると
帯域しぼられちゃう可能性もある。
あと、クラウドサービスを選ぶにしても、マイナーなところだと
いきなりサービス終了とかしちゃうから油断できない。HPとか。
容量無制限だったのを縛りつけちゃうトレンドマイクロとか。
だから、クラウドに保存というのは、TB級のデータでは
あまり最適解とは言えないんですよね。
というのは元の記事の人は分かっているみたいだけど。
とりあえず自分としては光速を越える移動手段が開発される
未来に賭けて、データを電波にして宇宙のある方向に送信。
将来、その電波のとんだ方に光速を超えて移動して、電波が
飛んできたところをキャッチしてデータに戻すというのを考えてみた。
これならストレージが要らない。
ああでも結局そんな設備個人で用意できねえわなぁ……
昔にくらべりゃぜんぜん楽だろ！(T-T) (スコア:1)
スペア用空きドライブを用意する以外に (スコア:0)
他にどんな解決策があると言うのだ。
お勧めはベアドライブを裸族系の外付けスタンドで運用。
※洪水の影響が無ければ、安価なドライブをバックアップ専用に気軽に買えるんだけどな…。
Re:スペア用空きドライブを用意する以外に (スコア:2)
まったくまったく。
とても大切なデータなら Amazon S3 といったオンラインストレージがお手軽だと思いますが、（料金は下がり続けているとはいえ個人データ向けとしては信頼性過剰で）まだちょっとお高いし、要求条件でクラウド的な手法はお好みではないようで。
となると、やはりスペアHDD/SSDを用意（要は、その時点で入手可能な最大容量のストレージ新製品を買い続ける）一択だと思いますけど、他に手段があるなら私も知りたい。
Re:スペア用空きドライブを用意する以外に (スコア:1)
同意。
2Tのストレージを
・RAID1でミラー(2台)
・さらにrsyncで定期コピー(1台)
で1/3のストレージ容量しか使えて無いけど
これくらい無いと消失が怖い。
# そろそろ3THDD買い増すべきか？
あなたが探しているのは (スコア:0)
Re: (スコア:0)
スラドで言及するなら舎離断だろう。
＃愛ってなんだ？！
はぁ？個人データ？ (スコア:0)
数十TBが全部個人データのはずはないだろ。
９８％は映像画像データのはず。
HDDが調子悪いだけでぶっこ割れていないのなら、そのまま数年放置でいい。
数年後スタンダードが10TBとかになるから、その時に移動するなりすればいい。
まあ、上の人の意見である破棄するのが一番手っ取り早い。
どうせ一生見ないものばかりだろうに。
そういう俺も撮りだメタビデオ5000本を破棄した・・・
今はDVDが2000枚ほど・・・
Re:はぁ？個人データ？ (スコア:2)
テラバイト級の自作ポエムを抱えている人かもしれないじゃないか！
それから、自分で計算した数兆ケタの円周率データとか。（自分で計算したってところがこだわりなので、定数だからHDD故障してもまた入手可能ではないか、とは考えない）
Re:はぁ？個人データ？ (スコア:2)
マジレスすると、仮に100歳の人が生まれた瞬間から一生をかけて
計算してきた5兆桁のデータがあると仮定すると、
1年あたりの計算量は500億桁、1日あたりだと1.36億桁
一秒では37万強の桁となる。それだけすごい計算量の人が
存在しうるか。半世紀あまり前のHDDの開発後に計算を
始めたとしても、その倍の計算量だ。
それだけの計算を脳内でできる人間はいないし、いたとしても
計算結果を脳内からHDDに出力する方法はこれまで
発明されていないので、例としては不適切である。
#↑いちいちマジレスすんなよ
Re:はぁ？個人データ？ (スコア:2, おもしろおかしい)
>メタビデオ
ビデオ撮影してるところを撮影したビデオ、とかかな？
Re:はぁ？個人データ？ (スコア:1)
個人的なデータで動画像というものもあるでしょう。しかもポルノでも warez でもないものが。子供の運動会やら学芸会を必死で撮影しているお父さんお母さんの姿は日本でも良く観られる光景です。子供が成長したら、成人したら、子供が出来たらまた観ようと思うコンテンツというのは無数に転がっていて、それらを破棄するのが一番いいなどと思えないことも容易に理解できるかと思います。
Hiroki (REO) Kashiwazaki
Re:はぁ？個人データ？ (スコア:2)
>それらを破棄するのが一番いいなどと思えないことも容易に理解できる
それでもやはり、取捨選択することの価値を理解させることには意義がある。
同じ費用をかけるならば、無駄に大量のホームビデオを保管することは失われるリスクを高めることになるわけだ。
取捨選択したデータをより冗長にバックアップするほうがよいかもしれない。
Re:はぁ？個人データ？ (スコア:1)
というか、30時間のホームビデオなんてあっても見ない。30分にまとめてあれば見る可能性はある。
3分にまとめられていれば感動映像になるかもしれない。
分別しなければゴミ、分別すれば資源なのです。
Re:はぁ？個人データ？ (スコア:1)
で、いつか30分ないし3分のビデオに編集しようと思っている30時間のビデオがいつまでも手元にあるのですよ。
Re:はぁ？個人データ？ (スコア:1)
録画開始部、もしくは一定時間おきのサムネイルをザーッと並べて、見たいところだけちょこちょこつまんで見ればいいんです。
ハイライト部を自動抽出してまとめてくれる機能なんてのもありますし。
「n歳のとき、うちの子はどんなんだったかな？」と、ふと思い立ってサクッと見れるのが良いです。
見始めると、家内も子供達もなんやかんやで食い入るように見てます。楽しいです。
Re: (スコア:0)
これらの現実的なバックアップ先はやはりBDレコーダー(内蔵HDD→BD)でしょうね。
Re: (スコア:0)
> 個人的なデータで動画像というものもあるでしょう。
> 子供の運動会やら学芸会を必死で撮影しているお父さんお母さんの姿は日本でも良く観られる光景です。
おっしゃるとおりです。
ただ、最初に「とりためた子供のビデオがたくさんあって」といわずに
「大量のデータ（ポルノや海賊版ではなく）」って言っちゃうと
やっぱり突っ込まれますよ。
Re:はぁ？個人データ？ (スコア:1)
そんなために置いとくのに最小限のコストすらかける気が無いなら諦めろというのはその通りだと思います。
Re:はぁ？個人データ？ (スコア:1)
全身タイツで樹木に擬態していたりする役は高度な羞恥プレイだと思うのだがどうだろう。
Hiroki (REO) Kashiwazaki
Re: (スコア:0)
写真データだけで5TB超えてます…。
親が趣味で撮ってるんですけどね。RAWデータ込みなので1枚20MBぐらいある。
ディスククラッシュ避けにミラーリングしてますが、バックアップまで取る余裕は無いですね(笑
何十万枚もの写真、把握してるわけもないので失敗作はすぐに消して欲しいんだけど、ストレージ容量単価が順当に下がるから、ファイル整理圧力がかからないのが欠点。
Re:はぁ？個人データ？ (スコア:2)
自分も昔はRAWでこだわりで撮ってたけど，もう収集付かなくなったので，カメラの解像度が1800万画素を超えた辺りで諦めた。
なるべく整理してるので，１年のデータはBD1枚でお釣りが来るぐらいで済んでる（ってまだ多すぎかｗ）。
私の場合 (スコア:0)
原因がドライブの問題だった場合結局新品買い換えとなる。
原因がファイルシステムの場合でも、ファイルシステムが壊れる程度には
使用し続けたわけだから予防的買い換えを行う。
どちらにしても新しいドライブを買って、それにデータをコピーして使用。
旧ドライブはその時点でのスナップショットとして保存。
その昔 (スコア:0)
最大のバックアップはP2Pに流してしまうことだとかなんだとか
Re: (スコア:0)
「バックアップファイルは圧縮して、自分宛のメールとしてBBSに預けておく」
というのを、昔何かの雑誌で見た記憶があるなぁ。
Re: (スコア:0)
アーカイブの一部が欠けても残りは復元できるとか、
AESで暗号化できるとか、UNIXでも使えるとか考え出すと、
放流用アーカイブのフォーマット選択に困る。
すべては贅沢が原因 （Re:昔よりは楽） (スコア:3)
人類は毎年どんどんゼイタクになるからいけません。
相談主 「ファイルを待避するための 1.6 TB の空き容量...」
==>> 画像集めも昔は10MBで我慢したもんだ！
「たとえ RAID を使っていたとしても」
==>> RAIDが組めるだけでもありがたい時代だろう！
「「クラウド」は実践的な解決法としては認められない」
==>> けっ！昔は 1200bpsでシコシコ転送したんだよ！
「ブルーレイディスクはせいぜい 50 GB しか」
==>> こら！フロッピーの1MB時代を知らないのか！
「予算が限られている個人が大量のデータを所有」
==>> 金がないなら我慢しろ！データ削って100分の1にしろ！
と説教したくなるのが1980年代を体験した僕です。
Re:昔よりは楽 (スコア:1)