タグ

storageとdistributedに関するmanabouのブックマーク (5)

  • The History of etcd | CoreOS

    For customersCustomer supportSubscription managementSupport casesRed Hat Ecosystem CatalogFind a partnerFor partnersPartner portalPartner supportBecome a partner Try, buy, & sellRed Hat MarketplaceRed Hat StoreContact salesStart a trialLearning resourcesDocumentationTraining and certification Hybrid cloud learning hubInteractive labsLearning communityRed Hat TVOpen source communitiesAnsibleGlobal

    The History of etcd | CoreOS
  • HDFSのイレイジャーコーディング (Erasure Coding)

    2017/5/19追記: ClouderaのHDFS Erasure Codingのブログ翻訳しました -> Apache HadoopのHDFS Erasure Codingの紹介 以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる?HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop 3.0をターゲットにして開発されているようです。 http://blog.cloudera.com/blog/2015/09/introduction-to-hdfs-erasure-coding-in-apache-hadoop/ 背景から設計の方針、評価まで幅広くかなり詳しく網羅されており読み応えがあります。しかし、日語訳が出るかわからないので、自分用にまとめてみました。間違いを発見したらご指摘下さい。 ※Erasure

    HDFSのイレイジャーコーディング (Erasure Coding)
  • グローバル データセンター | エクイニクスによる金融、CDN、企業とクラウド ネットワークの為の低遅延コロケーション

    デジタルビジネスの拡大へ グローバルプラットフォームエクイニクスでデジタルビジネスプラットフォームを構築することによって、人、クラウド、データから構成される世界最大のエコシステムと動的に相互接続することが可能になります。 5大陸に位置する200ヵ所以上のInternational Business Exchange™ IBX® データセンター、そして99.9999% の世界的稼働時間を提供する Platform Equinix™ は、52の主要市場への多くのアクセスにより、オンデマンドですべての目的地に到達することを可能にします。

  • STFで気づいたら8ヶ月間に及んだオペレーションがいつのまにか終わってた件 : D-7 <altijd in beweging>

    当に手前味噌な話ですけど、STFさん。今回も「あー、俺いいソフトウェア書いた」と満足できたので、この記事を書きます。ちなみにSTFとはみんな大好きPerlで書かれた分散オブジェクトストレージです。(github) tl;dr; ああ、俺いいコード書いた8ヶ月間最初のスクリプトをキックする以外何もしてないけど、18億個のデータを無事格納しおえた去年の夏くらいに「お、そろそろ今ある物理ストレージサーバーのディスク容量一杯になるぞ」という状態が観測されたので 追加のストレージを導入していただいて、そこから「現在格納されているオブジェクト群を新しいストレージにまた均等に均す」というオペレーションを開始しました。もちろんシステムを停止させることができればあっという間に終わる仕事なんですが、ユーザーのデータがのっているので当然止めるわけにはいかないです。そこで システムはオンラインのまま、遅延等を発

    STFで気づいたら8ヶ月間に及んだオペレーションがいつのまにか終わってた件 : D-7 <altijd in beweging>
  • Interopクラウドコン優勝は「えとらぼ」分散key-valueストレージ kumofs - Blog by Sadayuki Furuhashi

    InteropTokyo 2009 クラウドコンピューティングコンペティション(通称クラウドコン)は、我等がえとらぼチームが優勝しました! 実行委員・StarBEDプロジェクト・IBMの皆様を始め関係者の皆様、ありがとうございました。 プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 プレゼンムービー(マウスクリック/矢印キーで進む) PDF版 ポスター パンフレット *2 …どれも相当に気合いが入っているので、ぜひご覧ください^^ Ustream.tvの録画もあります(えとらぼチームはちょっと細切れですが) 途中で行ったデモは、StarBEDの45台の物理サーバーを使ってkumofsを動かして、ランダムで選んだノードを自動的にkill/再起動するスクリプトを走らせたものです。サーバーが落ちてもシステムは全然止まらないし、どのサーバーにも均等に負荷が分散されます。 時

    Interopクラウドコン優勝は「えとらぼ」分散key-valueストレージ kumofs - Blog by Sadayuki Furuhashi
  • 1