For the last weeks, I have been writing a tool called "Incline," a program that automatically maintains consistency between sharded MySQL databases. The aim of the software is to free application developers from hand-writing code for keeping consistency between RDB nodes, so that they can concentrate on writing the application logic. Background Denormalization is unavoidable in a sharded RDB envi
NEWS † 2007.10.25 : 3.01 released (ChangeLog) 2008.7.10 : GXP now hosted by sourceforge 2008.7.10 : 3.02 released from sourceforge 2008.8.1 : 3.03 released from sourceforge 2009.3.19 : 3.05 released from sourceforge 2009.6.7 : 3.06 released from sourceforge 2010.12.8 : talk slide and demo at e-Science 2010 conference 2010.12.8 : workflow applications in GXP make GXP is a parallel shell tool that c
HDFSでアトミックな追記操作がサポート 2008-07-28 (Mon) 10:12 Hadoop 今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです！ - HADOOP-1700 これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。 そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。 JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている) HDFSのブロック配置アルゴリズムをプラッガブルに Ins
詳細はつかみきっていないが、P2Pとは少し毛色が異なるようだ。個人のストレージ容量が増大していく中、オンラインのストレージシステムやファイルサーバが発展し、それほど個人では容量を使い切ることがなくなってきている。 メイン画面 そうした余ったストレージをみんなで共有できれば、とても便利なものになりそうだ。そして必要になった時に取り出せば良い。 今回紹介するオープンソース・ソフトウェアはOFFSystem、Owner Free Filesystem（オーナーフリーファイルシステム）と名付けられたファイル共有ソフトウェアだ。 OFFSystemはファイルを検索し、アップロード/ダウンロードできるソフトウェアだ。ファイルは細かく分割され、各ノードに対して分散して保存される。それらのデータブロックは細かく分断されるので、各断片単位では著作権が存在しない（なのでオーナーフリー）と主張している。 設定画
Webデータベース はじめに データベースモデルの新たな潮流となるか、４つのWebデータベース、Google Bigtable、Amazon SimpleDB、HBase、Hypertableを紹介する特集です。 RDB 38年史 現在、ビジネスアプリケーション用のデータ格納には、広くリレーショナルデータベース(RDB)が使われています。E.F.Codd博士がIBM在籍中にリレーショナルモデルの論文を発表したのが1970年、これがRDB元年としていいでしょう。1979年にOracleの最初の製品出荷があり、遅れてIBMも1980年代に入って製品化しました。本格普及が始まってから四半世紀、データの信頼性と一貫性、アプリケーション生産性向上を武器に、企業内情報部門のインフラとして完全に組み込まれています。 データベース言語SQLはベンダー毎の「方言」問題はあるものの、国際標準が制定され、ODB
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
