パスワードを忘れた? アカウント作成
14246698 story
ストレージ

GitHub、公開リポジトリのアーカイブ21TBを北極圏のデジタルデータ貯蔵庫に保管 37

ストーリー by nagazou
ロマン 部門より
headless 曰く、

GitHubが公開リポジトリのデータ21TBをアーカイブし、ノルウェー・スバールバル諸島のデジタルデータ貯蔵庫「Arctic World Archive (AWA)」に保管したそうだ(The GitHub Blogの記事Piqlのプレスリリース)。

AWAはノルウェーのデジタルデータアーカイブテクノロジー企業Piqlがノルウェー国有の炭鉱会社Store Norske Spitsbergen Kulkompani (SNSK)と提携し、スピッツベルゲン島の炭鉱跡に設置している。世界種子貯蔵庫もある北極圏のスピッツベルゲン島は気温が低く、電力や人の手を必要とすることなく長期保存が可能だ。Piqlがデジタルデータアーカイブ専用に開発した感光フィルム「piqlFilm」は1,000年以上の保存が可能だといい、オフラインで保存されることからサイバー攻撃の影響も受けない。

GitHubは昨年のGitHub Universe 2019GitHub Archive Programの一環としてGitHub Arctic Code Vault(動画)を発表。今年2月2日にアクティブな公開リポジトリのスナップショットを作成し、Piql数か月かけて186本のpiqlFilmに書き込んだという。当初、GitHubではチームが直接ノルウェーに飛び、北極圏まで世界のオープンソースコードを運ぶ計画だったが、パンデミックのために移動が困難であることからPiqlに一任した。Piqlによると186本のpiqlFilmは7月8日、AWA内のArctic Code Vaultに格納されたそうだ。

GitHubでは既に最も人気の高い6,000リポジトリのアーカイブをArctic Code Vaultに格納しており、今回が第2弾となる。GitHub Archive ProgramではAWAのほか、Internet ArchiveSoftware Heritage Foundation、MicrosoftのProject Silicaと提携してデータの保存を行っているとのことだ。

  • 意外と (スコア:5, 興味深い)

    by kcg (26566) on 2020年07月22日 17時05分 (#3857053) ホームページ 日記

    少ないもんだなぁと思った。
    コード以外のメディア等のデータは除いたのかな。

    ここに返信
    • by Anonymous Coward

      えーこれおれのしょーもないリポジトリもアーカイブしてもろてるの?お手数おかけして大変申し訳ございませんなんだが。

      • by Anonymous Coward

        今年2月2日だから俺もだ。

    • by Anonymous Coward

      ほとんどがfolkやコピペしたコードで、圧縮したらみんな仕事してないのがバレちゃった

      • by Anonymous Coward

        データが巨大なので「すべてのリポジトリの中から似通ったデータを探す(全リポジトリを一つに連結してから圧縮)」なんて無駄に時間を食うようなことはしていないと思う。
        リポジトリ単位やプロジェクト単位の圧縮、小規模なものは複数まとめて圧縮くらいがせいぜい。

        • by Anonymous Coward

          gitだったらせっかくすべてのオブジェクトがhash値で管理されているのだし、hash値の同じgitオブジェクトは重複しないようにするくらいのことはしていそう。

          • by Anonymous Coward

            hash値が同じならそこにぶら下がる実体データはひとつしかないわけで、「hashが同じオブジェクトが重複しないように」は「元からそうなってる」なわけだけど

        • by Anonymous Coward

          もともとのストレージがdedupなのかも知れんよ。

    • by Anonymous Coward

      これ全公開リポジトリではないです。
      ・2019-11-13 .. 2020-02-02 の間にコミットがある
      ・2019-02-03 .. 2020-02-02 の間にコミットがあり、スターが1以上
      ・スターが250以上
      のいずれかの条件を満たすリポジトリのみです。まあ条件はかなりゆるいので、相当数のリポジトリが該当するとは思いますが。

  • by Anonymous Coward on 2020年07月23日 7時59分 (#3857458)

    データーの保存方法が感光フィルムって点もそうですが、
    保存場所がスヴァールバル条約 [wikipedia.org]の地域ってところも興味深いですな。

    日本では「スピッツベルゲン」ニ関スル条約 [archives.go.jp]ですが、
    この第九条によると、加盟国は諸島内に軍事拠点を築いたり、地域内で戦争をするのは禁止なので、
    戦火に巻き込まれて遺失するリスクが低い事も狙ったのでしょうね。

    ※条文が普段目にする日本語とかけ離れていたので、解釈違いの可能性も高いです。
    誤りがあったらご指摘・補足をいただけると有難いです。PDF 84Pを参考にしました。

    # 永世中立国スイスと似たベクトルの何かを感じました。

    ここに返信
  • なんでもスヴァールバルに集めると怖くない?
    ここに返信
    • by Anonymous Coward on 2020年07月23日 20時33分 (#3857732)

      成程、バックアップにおける分散化ですね。
      スヴァールバルがMTBFが極めて高い、1つの超大容量記憶媒体と考えると、
      問題が発生した際の損害も甚大と考えるのは自明ですね。

      スヴァールバルの様に特殊な要素があり、
      かつ保管に適した条件を持つ地域は他にもありそうですが、
      具体的には何処になるのだろうか?

      凄く興味が沸いたのでGoogle先生に聞きまくってみました。
      (たぶん突っ込みどころ満載です)

      ■戦争地帯へのなりにくさ

      「バチカン市国」
      スヴァールバル諸島との共通点として、国家(地域)としては一切の軍事力を保持していない点が挙げられます。
      またキリスト教にとって、非常に重要な地域の為、この特殊性が安定性につながる可能性があります。
      ただし宗教を発端とする聖戦などに発展すると、最も危険な地域と化す可能性もあります。

      「スイス」
      永世中立国ですので、他国間が戦争状態になっても中立を維持し、自衛以外では戦争を行わないことから、
      長い期間、戦争地帯にはならない事が見込めます。
      しかし、武装中立国家ですので、スヴァールバルのように軍事施設が無いわけではありません。

      「南極大陸」
      地球上で唯一どこの国にも属していない大陸です。
      南極条約 [wikipedia.org]により、軍事的利用が禁止されていたりとスヴァールバルとの共通点も多いです。
      ただし地球上でも有数の過酷な気候の為、ここに保管施設を作る事自体がかなりの難題です。

      ■自然災害(主に地震)の少なさ

      「北ヨーロッパ」
      ユーラシアプレートの真ん中に位置する為か、地震が非常に少ないことで有名です。
      特にドイツは世界でも指折りの地震が少ない国です。
      ただし地球規模で見ると、スヴァールバルと同じ地域とも言える為、
      リスク分散を重視する場合は、あまり意味が無いかもしれません。

      「アフリカ大陸」
      アフリカプレートの真ん中に位置する為か、地震が少ないです。
      ただし紛争が多発する地域の為、治安は非常に悪いです。

      「オーストラリア大陸」
      オーストラリアプレートの真ん中に位置する為か、地震が少ないです。
      ただし、南極を除くと最も乾燥した大陸の為、自然火災などが多発する地域でもあります。

      「アメリカ マンハッタン島」
      巨大な一枚岩盤で構成された島ですので、土台の安定性が非常に高いです。
      ただし、アメリカにとって非常に重要な地域の為、テロの標的にされたこともあり、
      色々とリスクも抱えてもいます。

      ■ロマン、SF

      「海上、海中」
      各国の排他的経済水域に当たらない海域にメガフロートを建造し、そこに保管。
      新たな条約が必要になりそうな上、
      長期保管における、水害、塩害、海生物、鳥、津波の対策など、問題が山ほどある。
      原子力潜水艦にデータを積んで、回遊してた方がよっぽどマシかもしれません。

      「宇宙空間」
      ボイジャーのゴールデンレコード [wikipedia.org]よろしく、地球外で保管する方法です。
      例えば、衛星軌道を周回させたり、月面などに保管でしょうか。
      人類の戦火に巻き込まれにくいという点では指折りですが、温度、宇宙線、隕石、宇宙人(?)への対策が必須の上、
      設置、回収コストが尋常ではないです。1000年後の人類の技術ではコストが安いことに期待でしょうか。

      # 色々調べている内に、この前無償配布していたCiv VIの存在を思い出してしまいました。
      # 4連休を失った哀れなACが誕生したのは、あなたのコメントが原因です。深く反省してください(逆ギレ

  • 実際には、雪解け水の侵入リスク [wired.jp]もあるし、
    結構頻繁にそこそこの地震も起きていて、メンテなしでは済まないと思われる。
    2008年 M6.2地震の報道 [reuters.com]
    2016年 M5.3地震の報道 [spitsbergen-svalbard.com]
    2017年 M5.0地震の報道 [temblor.net]

    ここに返信
  • by Anonymous Coward on 2020年07月22日 17時23分 (#3857068)

    piqlFilmとやらの読み方は別の方法で添付保存してるのかな
    石版?羊皮紙?どんな方法が適切だろうか
    # 紙テープ?パンチカード?その読み方は・・・

    ここに返信
    • by Anonymous Coward

      写真を見る限り、標準的な二次元コード(DataMatrix?)を1コマ3つずつ書き連ねているだけのように見える

    • by Anonymous Coward

      ほんとに千年後読めるのかなあ。千年後のレスが楽しみ

      • by Anonymous Coward

        submodule が GitLabに有って、source code全体がソロワネじゃん!

  • by Anonymous Coward on 2020年07月22日 17時26分 (#3857071)

    伸長派も従うしかない。

    ここに返信
    • by Anonymous Coward

      解凍、伸長、展開とか色々あったけど、
      圧縮する方はバリエーションなんかあったっけ…。

      • by Anonymous Coward

        凍結 (LHA)

      • by Anonymous Coward

        圧縮する方はバリエーションなんかあったっけ…。

        ラージハドロンコライダーと
        逆回転の電子レンジと
        ガラケーを組み合わせたやつ

        # トゥットゥルー

      • by Anonymous Coward

        デフレ。
        アルゴリズム名使うパターンはちょくちょくあるね。
        展開はunを接頭する。

    • by Anonymous Coward

      まあ北極に置くだけに解凍と表現するのが妥当なのではと。

    • by Anonymous Coward

      アーカイブは冷凍するもの

      #とは言わないなぁ

    • by Anonymous Coward

      LHarc/LHAの出力は FREEZING... と MELTING... なんで冷凍⇔解凍だったんだけど、なぜか圧縮⇔解凍で普及したんだよね。

    • by Anonymous Coward

      アーカイブのアイコンが氷だからね、しようがないね。#Lhaplus

    • by Anonymous Coward

      授業でどう教えようか悩んだのだが、結局、「もともとの反対語としては圧縮の反対は伸長なんだけど、今の日本語では『解凍』です」などと教えました。原理主義の皆様、ごめんなさい。

  • by Anonymous Coward on 2020年07月22日 20時21分 (#3857208)

    この非ノイマン型全盛期に、今更ノイマン型?

    ここに返信
    • Re:未来人曰く (スコア:2, おもしろおかしい)

      by Anonymous Coward on 2020年07月22日 21時17分 (#3857247)

      いやむしろ、
      「こいつら、1000年後の俺たちもtarコマンド叩いてるとは思ってなかったろうぜ」
      「タイムマシンでやってきてたら、ガッカリしただろうな」
      的な感じで頼む

    • by Anonymous Coward

      人類は未来永劫、現代の価値観で過去を批判するのだ・・・

    • by Anonymous Coward

      クールポコ、チンポコ

      • by Anonymous Coward
        それはジョイマンネタ
  • by Anonymous Coward on 2020年07月22日 21時42分 (#3857263)

    ノルウェーは大丈夫なんだろうか

    ここに返信
    • by Anonymous Coward

      データの出元は大半は北半球だから、南半球に置くべきだな。

  • by Anonymous Coward on 2020年07月23日 6時58分 (#3857441)

    masterが使用禁止になったら掘り返して消しに行くのかな?

    ここに返信
    • by Anonymous Coward

      アーカイブまで歴史改ざんですか?

typodupeerror

身近な人の偉大さは半減する -- あるアレゲ人

読み込み中...