タグ

分散IOとMapReduceに関するmonjudohのブックマーク (2)

  • Apache Hadoop

    Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation an

    monjudoh
    monjudoh 2007/11/29
    GFSとMapReduceのオープンソース版
  • Roma、Fairyについてひとことふたこと - Blog by Sadayuki Furuhashi

    大規模分散処理向けの国産“ウェブOS”をRubyで開発中 - @ITより。 これはマズイことになった。WikiFormeを作っている内に、VIVER構想の一部が先に実現されてしまいそうだ。 以下、私はこのカンファレンスに行ってもいませんし、とっても浅薄な頭で書いてますので、あまり信用してはいけません。 まずRomaについて。 Romaは、メモリ上にデータを保持した多数のマシンを組み合わせることで、高速で信頼性が高いストレージを実現することを狙う。具体的には、巨大なオンメモリのハッシュ・テーブルをネットワーク上に分散した多数のサーバ上に構築する。P2P(peer-to-peer)ネットワークのルーティング技術として注目されている分散ハッシュ・テーブル(DHT)と似た動作モデルに基づくという。 どうやら、私が作ろうとしていて全然できてない分散ファイルシステムの考えと少し近い。 オンメモリという

    Roma、Fairyについてひとことふたこと - Blog by Sadayuki Furuhashi
    monjudoh
    monjudoh 2007/11/29
    『分散ストレージの代わりに高度なメッセージングで実現してしまうかもしれないErlangはちょっと感動したりもする』←ちょっと気になる
  • 1