DroboとLightroomとデータ管理(2017.05.05)
実は、この記事自体、昨年末から書いてはいたのですが、なかなかまとめきれなかったので、このタイミングまで遅れてしまいました。
デジタルデータのバックアップは重要
このサイトでも以前から述べているとおり、写真や動画といったデジタルデータのバックアップは極めて重要です。最近は、すべてスマホで済ませる人がかなり多いようですが、スマホのデータも飛ぶときは飛びます。スマホが水没しちゃって、データ全部消えちゃった!っていう話はよく耳にしますよね。
なので、PCにデータをコピーしておきましょうってことになりますが、結構PCも危ないです。というのも、HDDの安全性は高いと思っている人は意外と多いのかもしれませんが、HDDは意外と壊れるんです。
私が初めてHDD壊れたのは、大学1年生のとき。当時はノートPCを使っていて、そのノートPC内臓のHDDが壊れました。まだ保証期間内だったので無償交換にはなったが、もちろんデータは消えてしまいました。まだ大学に入学してすぐだったし、デジカメも買う前のことだったので、それほど重要なデータも無く、影響はそれほど大きくは無かったですけど…。
中央にあるのが、2001年当時バックアップ用に使用していた外付けHDD
それ以降、私は外付けHDDなども組み合わせながら、データのバックアップは取るようになりました。そんな私でも、数年前にはデスクトップPC内臓HDDが壊れて、データが飛びました。動画編集用のHDDだったので、それほど重要ではないと思ってバックアップをとっていなかったHDDで、後々よくよく考えれば、消えては困る動画データもいくつかあって意気消沈でした。
今まで、PC環境では3台ほどのHDDが壊れました。最近のHDDでは、購入2日目で壊れたものもありました。それぐらい、HDDとは壊れるものなんです。
そのため、とりわけ写真データや動画データは管理はきちんとしておかないといけません。最近は、複数枚のメモリーカードに保存をしている人も多いようだけど、メモリーカードも長期間電気を通していないと、データが消えることがあるらしい。また、以前はCD-RやDVD-R、BD-Rに焼くという作業もしていたが、ディスクメディアは良し悪しで、バックアップ性はいいかもしれないが、復元性が悪い。それらを考えると、今の時代、HDDがベストといえる。
もちろん、私みたいな容量の写真データを扱っている人はそれほど多くは無いだろう。ただ、徐々に4K動画が普及してくるにあたり、動画データだけ見ても、数分で数GBになるのは当たり前になりつつある。しかも、4Kは現状では再生ディスクとしてBDに変換できない。否応でも、HDDでの管理になってしまう。
これまでのバックアップ体制
ここ最近の私のバックアップ体制はこうでした。
基本的な、RAWデータ・JPEGデータはPC内のそれぞれの内臓HDDに保存。まずは、これがベースのデータになります。
そして、このRAWデータ・JPEGデータに対して、さらに別の内臓HDDにバックアップを取っていました。本来は、常時同期させておいた方がいいのでしょうが、そこまではなかなか大変なので、毎日定時(必ずPCが起動している夜22時頃)に同期をかけるようにしていました。
ただ、当初はこれで問題なかったのですが、ここ2年ほどで一気にRAWデータの容量が増えてしまい、RAWデータだけで3TBを超えるようになりました。そうなると、内臓のバックアップ用のHDDだけでは、とても容量が足らなくなりました。そのため、去年あたりから、RAWデータについては、その年よりも以前のもの(2016年であれば2015年よりも古いもの)は、外付けのHDDにバックアップするようにして、内臓HDDのバックアップは、その年のRAWデータだけにしていました。
HDDを複数台運用するには意外と便利な裸族のカプセルホテルVer.2
というのも、JPEGデータって、その都度RAW現像をしたり、リサイズしたりいろいろとするので、データの変更がよくあるのですが、RAWデータについては、基本的には撮影したらそのままですからね。
どんどん増えるデータ量
これまでは、どんどん増えていくデータ容量に内臓HDDの保存方法とドライブの変更で対応してきました。1つのHDDの中で管理していたRAWデータとJPEGデータを、別のHDDに分けてみたり、RAW用のHDDを2TB⇒4TBにしてみたり…。
その一方で、年々、増えていくデータ量は増しています。
RAWデータだけを見ても、2013年が年間248GBだったものが、2014年626B、2015年850GB、そして2016年に至っては1,322GBと、年間で1.5TB近くも増えてしまっています。もちろん、その最たるのは、モータースポーツ関連の撮影なのですが、これでも実は撮影総量としては単年で88,110枚・2,023GBのものを、42,044枚・971GBと半分以下に減らしてこの枚数・容量ですから…。
こうなっていくと、年度途中でHDD容量が不足することもしばしば。そして、その都度、「え~っと、どうしようかなぁ…」と悩みながら、苦肉の策で対応していくというのが現状で、いい加減、抜本的な解決方法を考える必要があると思っていました。しかも、そろそろメインで使っているデスクトップPCの世代交代も考えなければいけない時期。そのデータ移行というのもつきまとってきます。
こうなると累積の容量は、もはやTBの世界。JPEGとRAWを合わせて4TB HDDにギリギリ入るかどうかというレベルで、これにMovieファイルなどもあるので、なかなか厳しいものがあります。しかも、これらをバックアップするとなると、さらに倍の容量が必要ですからね…。
RAIDに対する不信感
通常、私のようにデータをきちんと管理・バックアップをしたいと考えたときに、登場するのはRAIDってやつです。
RAIDには、いくつかタイプがありますが、バックアップという観点から言えば、単純にミラーリングをするRAID 1、複数台のHDDを使って、1つのHDDが壊れても大丈夫なようにするRAID 5、さらに2つのHDDが壊れても大丈夫なようにするRAID 6などいろいろあります。
ただ、RAIDって私の中では良し悪しだと思っていて 、基本的にはRAID 1だと同じメーカー・容量・型番のHDDを使うことが一般的(もしかしたら、最近はそうでもないのかもしれないけど…)。しかも、容量が増えて言った場合に、これだと2つのHDDとも容量UPをしなければならない。
また、リビルドとか復旧と呼ばれる、HDDが壊れたときにRAIDを立て直す作業が、意外と失敗したという話もよく耳にする。普通のHDDだと、HDD自体が壊れていなければ、どうにか中身を見ることはできるが、RAIDはそうはいかない。私は、そういう全自動ってあんまり好きではないので、これまでRAID自体は敬遠してきていました。
そこに登場したDrobo
そんな私に飛び込んできたのが、Droboでした。
厳密に言えば、実はDroboという存在があることは以前から知っていた。ただ、私の中では「よく分からないシステム」「なんか高いやつ」というイメージでしかなかった。
そんな中、2016年12月に久しぶりに「楽しんだモン勝ち」が配信された。
この中では、G-technology社の「G-Raid」というRAIDシステムが紹介されていた。それ以前から、G-technologyのHDDがいいよってのも知っていたし、諏訪さんがアンバサダーになっていたのも雑誌やネットで見ていたので知っていた。その中で、10TB×2のRAIDで外付けHDD運用をしているよ、っていうのが紹介されていた(右のAmazonリンクは8TB×2のモデル)。25万円ととても手に出来る価格ではないが、私の中で「やっぱりRAID運用しないといけないのかな?」という感じがした。
そして、G-technologyやRAIDについていろいろ調べている時に、改めてDroboの存在を再認識する。
私の中では、「Drobo」自体も単なるRAIDシステムなんだろうと思っていたのだが、詳しく見てみると結構違う。このDroboのいいところは、
・容量の違うHDDを計5枚組み合わせることができる
・容量が不足したら、最も容量の少ないHDDを大容量のものに変える
という点だ。
私の中では、「RAID=同じHDDを組み合わせるもの」という認識だったので、メーカーや型番はいいとして、容量が違うHDDを組み合わせRAIDが組めるというのは、目からウロコだった。しかも、RAIDを組んでいる途中で、容量が足りなければ、HDDの入れ替えで容量がアップできる。
つまり、今の時点では、必要最低限の容量で運用しておき、容量が足りなくなったところで大容量のHDDを購入して容量アップができる。普通なら、8TBを購入したとしても、8TBが一杯になった段階で次を考えなければいけないが、Droboならその心配がない。これは、Lightroomのようなシステムには一番いいのではないだろうか!。
しかも、今の時点では、HDDのコストは4TBが一番が安く済む。ただ、1~2年もすれば、6TBや8TBの値段がこなれてくるだろうから、その時に大容量HDDを導入すれば、実に効果的だ。将来的には、8TB×5本にすれば、多少の減りを見越しても、16TBぐらいは対応できる。
しかも、RAID 5や6が組めるので、HDDが壊れても、それを差し替えるだけで対応できる。さらには、Drobo本体自体が故障したという場合や新型のDroboに乗り換えたいという場合についても、旧型のHDDを抜いて、新型に差し込むだけで、そのままリビルドされるというシステムも搭載されており、結構信頼性は高いと思われる。
厳密に言えば、Droboにはいくつかのモデルがあるが、今回私が購入したのはDrobo 5CというHDDが5つ入って、USB3.0で接続するタイプ。他にも、LAN接続をするNASタイプやmSSDを使って高速書き込みが出来るモデルもありますが、値段的にコイツにしました。
気を付けたいDroboの容量計算
これは、Droboがどうこうという問題の前に、RAID自体がたぶんそうなのだと思うが、容量計算がちょっと単純ではない。
私も途中まで結構勘違いをしていたが、私はASCIIの記事で理解した。これによると、「Droboの実効容量は、最大容量のHDDを除いた全部のHDD容量を加算して、0.9を掛けると算出できる。」となる。
例では、1TB + 2TB + 3TB + 4TB = 10TBのHDDを搭載していたときに、最大容量4TBのHDDは無視して、
(1TB+2TB+3TB)×0.9=5.4TB
となる。
ここで大事なのは「最大容量のHDDを除く」ということ。これを理解した上で、HDDの構成を選ばないと結構残念なことになる。
5ポートで2TB+4TB+4TB+4TB+4TBの場合
(2TB+4TB×3)×0.9=12.6TBで、最少のHDDである2TBを4TBに換装することで、(4TB×4)×0.9=14.4TBで正味2TB×0.9=1.8TB分増えたことになる。
しかし、次に4TB×5の状態で、容量が不足をして、4TBを8TBに換装した場合、最大容量が8TBのHDDになるので、結果的に増設したことにならない。つまり、同じ容量のHDDを全ポートに入れてしまうと、その次の換装は容量を増やしても増設の効果がないことを意味する(2つ増設するとやっと容量が増える)。
全部同じ容量にせず、1つ飛ばすのがコツ
ではどうすればいいのかというと、例えば先程の2TB+4TB×4の2TBを換装する段階で、4TBよりも多い6TBや8TBを選ぶべきなのである。そうすると、増設したときも容量が増えるし、それ以降も容量が増える。これはぜひ知っておきたい点といえる。
私の場合はこうだ
ちなみに、私は現状、4TB×4の10.8TBで運用していて、まだスロットが1つ余っている状況になっている。なので、私の場合は、次に容量が不足した場合は、8TBのHDDを導入していくことになる。
気になるDroboの速度
Droboを導入するに対して、気になっていたのはその速度だ。
旧型のモデルなどでは、通常の外付けHDDよりも遅く、内臓HDDとの速度差を指摘する記事も目にしていた。最近は改善されたとの記事も見ていたが、実際に、Droboを導入して、速度計測をしたりした記事を見つけることができず、やはりなんとなく気にしていた。
今回搭載したHDDはWD Blue 4TB×2とWD Red 4TB×2。当初は、手持ちのHDDを駆使しながら、4TB×4で組もうと思っていましたが、回転数が5400prmと7200prmが混在するのは、あまり好ましくないという記事を見つけてしまい(実はそうでもないらしいけど…)、その時点でWD Red 4TB 5400prm×2を注文していたので、本当は、NASに対応したWD Redで揃えた方がいいのは分かっていましたが、ちょうどチラシで安かったWD Blue 4TB 5400rpm×2を追加購入しました。
というか、実に16TB分のHDDの追加購入…それならもうこれだけでどうにかすればいいじゃん!って話なんですけどね…。
まずは通常外付け使用時で計測
まずは、WD Blue 4TBをUSB3.0外付けで接続した状態の速度を確認。接続は、カプセルホテルのUSB3.0接続です。
【WD Blue】
【WD Red】
噂通り、最近のHDDって5400prmでもなかなか速いんですね。この速度を見ると、通常使用ならBlueでいいんじゃないの?ってぐらいです。それでも、気持ちRedの方がちょっと速いんですね。
いよいよDroboで計測
【Blue+Blue】
【Blue+Blue+Red】
【Blue+Blue+Red+Red】
そして、グラフにまとめて見るとこんな感じです。
こうして比較してみると、Readはおおむね2/3程度の速度で、WriteはDroboに搭載されるHDDの台数によっても変わりますが、おおむね1/3程度で、搭載HDD台数が増えるほど改善するようです。
実際の体感速度はどうなのか?
写真の抽出作業
私の場合、ダブルモニターでメインモニターでグリッド表示、セカンドモニターでルーペ・標準表示にしていて、セカンドモニターでピントやブレなどを見てショートカットキーで採用・不採用、もしくは、カラーラベルを付けて抽出作業を行うのが一般的だ。この作業をするときに、セカンドモニターに表示される速度がどれだけ影響するのかを見てみた。
ただ、今回は、最近、私が行っている「1:1プレビュー」を作成してからの抽出作業とした。というのも、この処理をしておかないと、内蔵HDDにRAWデータを保存していたとしても、プレビュー表示に時間がかかることが多く、体感速度が全然異なるからだ。
これについては、さすがに数字を示すことができないが、正直、1:1プレビューを作っていれば、内蔵HDDとDroboの差はほとんど無いといってもいい。もしかすれば多少の差はあるのかもしれないが、私が体感で分かるようなレベルではない。その点では、少し安心した。
RAW現像
今回検証に使用したのはα77Ⅱで撮影した2016オートポリスで撮影したRAWデータ100枚。別にこのファイルで計測をする理由は特別には無いのだが、ちょうど100枚単位になっていたので、いろいろと計算しやすいので、これで計測をしました。
Lightroom上の処理としては、明瞭度とカメラプロファイル・カメラキャリブレーションの3点のみで、ファイル名を変更する設定にし、JPEGへ画質80、sRGBへの変換で画像サイズはそのままフル画素にしている。
Droboに加え、参考までにDesktop PCの内蔵HDDと内蔵SSDの違いも見てみた。他の影響を受けないよう、ファイルを移動後にカタログの最適化を行い、PC自体を再起動したのちに、Lightroomだけを起動して速度を測定してみた。
計測した結果がこちら。この結果を見ると、内蔵HDDとSSDの速度差は4%程度だが、Droboになると約15%の速度差が出た。一見すると、速度差があるように思うが、実は、このデバイスの差以上に、同時並行で何か作業をしたり、ブラウジングをしたりする方が実はかなりの影響が大きく、それだけで内蔵SSDでも8分台後半から9分台前半に速度が落ち、50%以上速度が落ちることもある。それを考えれば、Droboによる速度差に対する影響はまだ少ないといえる。
しかも、先にも述べたとおり、私としては、RAW現像時は別のことをしていたりすることが多いので、直接的にこのRAW現像時間が影響することは少ないので、正直、「まあ、これぐらいの差ならいいんじゃない」というレベルだ。
Droboの立ち位置をどうするのか
そして、もう1つ、Drobo導入にあたって気にしていたのは、Droboの立ち位置。そもそも、Droboを内蔵HDDに対するバックアップHDDという立ち位置に置くのか、それともそもそもDroboにデータをぶち込む形でメインHDDとして使うのか、結構難しい所だ。
バックアップHDDで使う場合
シンプルで考えやすいのは、このやり方。基本的に内臓HDDにRAWやJPEGを保存し、そのバックアップHDDとしてDroboを稼動させる。これだと非常に導入が簡単で、かつバックアップ体制の考え方も非常にシンプルだ。しかも、今の内臓HDDデータの移動などについては何も考える必要はなく、導入に対して面倒なことは無い。
ただ、問題なのは、膨れ上がる内臓HDDの容量をどうやって考えるのか、という根本的な解決には全くなっていない。既にRAWデータを保存している4TB HDDも、今年の途中には一杯になる。この時に、新たに4TB HDDを導入するのか、それとも一気に6TBや8TBを導入してデータ移行をするのか…。
メインHDDで使う場合
DroboをメインHDDとして使う場合、完全なデータの一元管理ができる。PC内臓については、OSの起動SSDおよび作業用のHDDを2TBほど確保しておけば、問題ない。もちろん、初期投資のHDDは必要にはなるが、データ移行しながら余ったHDDは、随時Droboに組み込んでいけば、Droboの容量が増えていくので、導入時のドタバタは多少あるが、将来的に見据えれば、容量が不足した時にHDDを換装すればいいので、対応は容易である。また、メインHDD自体がRAIDで組まれているので、平均的な安全性はかなり担保される。なので、RAWデータはもちろんのこと、JPEGやMovieデータなども全部ここにお任せで良くなる。
懸念材料があるとすれば、1つはDroboの速度面。RAWデータについては、現状、事前に1:1プレビューを作成することで速度は確保できるし、RAW現像そのものは、現像中に別の所要をしていればいいので、それほど苦にはならない。少し気になるのは、4K動画がシームレスに見えるかどうかだ。これさえクリアできれば、Droboをメインにしてもいいと思っている。
理想的な運用は内蔵SSD+Droboの組み合わせ
そういった意味では、理想的なのは内蔵SSDとDroboの組み合わせじゃないかなぁと思う。
流れも含めて整理をするとこんな感じかな。
撮影から帰宅して、SDカードからPC内の内蔵SSDにコピー・リネームをした上で、Lightroom上に取り込み、GPS付加・選別・調整・RAW現像を行い、RAW現像を行ったのちに、Drobo 5Cにデータを移動してそこで管理。本当はこの時点でRAID 5相当だから、そこそこの安全性は担保されているんだけど、念のため、定期的に外付けHDDにバックアップを取る(将来的にはここの部分にもう1台のDroboを購入してもいいとは思っているけど、なかなか高いもんな)。
別に内蔵ドライブについては、無理をしてSSDにする必要もないのかもしれないけど、Lightroom上でのプレビュー作成やRAW現像等を考えてもそれが理想だよね。ただ、私の場合、モータースポーツで2日間撮影に行くと、200~300GBぐらいの容量になることはしばしば。さらに、それが1ヶ月に2回とかなるときもあるので、500GBでは微妙で、やはり1TBクラスのSSDが必要になる。でも、そうなると高くなるんだよなぁ…。
なので、しばらくは内蔵ドライブはHDDで運用して、新しいPCに切り換えたときに、OSとは別にSSDを搭載することになるかなぁ。
Droboのバックアップは必要か!?
先にもチラッと述べたが、Drobo自体が1台壊れても新しく差し替えれば修復できるので安全性が高いとはいえ、Droboのさらなるバックアップが必要なのかどうか。正直なところ、JPEGやMovieについては、Droboに対するバックアップはあった方がいいとは思っている。ただ、一番容量が必要となるRAWデータについては、Drobo以上のバックアップが必要とはそれほど思っていない。そもそも、RAWデータ自体、JPEGがあれば、過去のものから再びRAW現像するというのはそうそうない。
もちろん、RAW現像ソフトが良くなって、再びRAW現像をしたくなることもあるかもしれないが、それは極まれだろう。それに、私の場合はRAW現像している時に、フル画素でJPEGに書き出しをしているので、その点も問題ないだろう。
強いて言えば、最近はRAW撮影を基本として、必要に応じてRAW現像をしているという点。つまり、JPEGデータにはなっていないが、RAW現像のまま保存されている画像が実は結構多い。その点が少々懸念材料だ。特にここ数年はそんなパターンが結構多い。場合によっては、JPEGファイルはあっても、Flickrアップ用のリサイズ版しか無いことも多い。
そうなると、JPEGやVideoデータはもちろんのこと、RAWデータもしばらくの間は、別途外付けHDDにある程度定期的にバックアップを取っておくことは必要なようだ。