タグ

KVSに関するshny_wdのブックマーク (3)

  • Apache CassandraとApache Hadoopを一体化した「Brisk」発表 | OSDN Magazine

    「Apache Cassandra」の商用サービスを提供する米DataStaxは3月22日(米国時間)、Cassandraと「Apache Hadoop」を組み合わせたディストリビューション「Brisk」を発表した。1カ月半後のリリースに向け、ユーザー登録を開始している。 Apache CassandraとApache Hadoopはともに非営利団体Apache Software Foundation(ASF)のオープンソースプロジェクト。Apache Cassandraは元々は米Facebookで開発された技術。オープンソースの分散データベース管理システムで、大規模データ用の拡張性などを特徴とする。一方、Apache Hadoopは米Yahoo!がASFに寄贈した技術で、大規模データ用の分散コンピューティング用ソフトウェアとなる。 DataStaxが発表したBriskは、HadoopとH

    Apache CassandraとApache Hadoopを一体化した「Brisk」発表 | OSDN Magazine
  • 丸レク3(丸山先生レクチャーシリーズ 2010 第3回)に行ってきた。 - techlog

    丸レク3に行ってきた。一ヶ月くらい前に…。 今更だけど、頑張って思い出していろいろ書いてみる。 基的には出来損ないのメモがベース。字が判別不可能なくらい小さいので、大きなメモはflickrでどうぞ。 でもUstの録画があるから、いざとなればそっちを見ればいいと思う!すごく重たいエントリになったけど、まあ仕方ない。 今回はKey-valueストアの話が多かった。 僕はkey-valueストアにあまり詳しくなかったので、知らなかったことがいろいろあって面白かった。 Google App Engine で datastore と memcache をちょっと触ったことがあるくらいで、NoSQL が Not Only SQL と最近解釈されていることは知らなかったくらい。 このエントリが長くて細かくて読んでられん、後で読む、って人は Togetter - まとめ「丸レク2010楽天タワー」 を先

    丸レク3(丸山先生レクチャーシリーズ 2010 第3回)に行ってきた。 - techlog
  • 54行で分散KVSを実装する(レプリケーション機能付き) - Blog by Sadayuki Furuhashi

    Ruby と MessagePack-RPC があれば、簡単なkey-valueストレージは簡単に作れます。54行で書けます(レプリケーションと負荷分散機能付き。サーバー38行、クライアント16行)。 簡単なKVSをベースにして、ログ集計や遠隔デプロイ、遠隔管理機能などの機能を追加していけば、ちょっと便利なサーバープログラムをサクサク自作できるハズ。 この分散KVSは、(keyのハッシュ値 % サーバーの台数)番目のサーバーにkeyを保存します。また、サーバーの名前順でソートしたときの「次のサーバー」と「次の次のサーバー」にデータをレプリケーションします。 すべてのサーバーで同じ設定ファイルを使います。サーバーごとの設定は引数を自分のホスト名に書き換えるだけなので、デプロイが容易です。 MessagePack-RPC for Ruby を使うと、分散しないkey-valueストレージ*1は

    54行で分散KVSを実装する(レプリケーション機能付き) - Blog by Sadayuki Furuhashi
  • 1