ZooKeeperは、Apacheソフトウェア財団のオープンソースプロジェクトの1つで、大規模分散システムの協調動作を実現するツール。分散システムが協調動作するために必要なコア機能を提供することで、開発者の負荷を大幅に低減します。HiveやHadoopの新しいスケジューラであるYARNなど、多くのプロジェクト、企業、組織で利用されつつあります。分散システムの協調動作に頭を悩ませていた多くの開発者にとって福音となる、ZooKeeperを使った効果的な分散システムの管理手法、スマートな問題解決法を提示します。 まえがき I部 ZooKeeperのコンセプトと基本 1章 はじめに 1.1 ZooKeeperの使命 1.1.1 これまでZooKeeperなしでどうやってきたのか？ 1.1.2 ZooKeeperがしてくれないこと 1.1.3 Apacheプロジェクト 1.1.4 ZooKeeper
Coordination Service(ZooKeeper，etcd ，consul) の比較
概要 最近，consul，etcd，ZooKeeper といった，いわゆる Coordination Service(この名前は ZooKeeper の論文から拝借した)の実装が頻繁に行われている．本記事では，開発が盛んな背景を踏まえた上で，オープンソース実装の Coordination Service の比較を行う． Chubby から現在まで Paxos が Google の手によって Chubby という形で実用化された後，故障検出+分散合意アルゴリズムを用いた高可用KVSという組み合わせによる Coordination Service のオープンソース実装がいくつが出てきた．そのはしりが ZooKeeper である．ZooKeeper は Hadoop ファミリではデファクトスタンダードの Coordination Service であり，Hadoop を初めとして HBase，M
by EMC Labs China, Xiang Dong Original Article in Chinese: http://qing.weibo.com/2294942122/88ca09aa330003zv.html Translated by fcicq ( @fcicq & id:fcicq) (fcicq: This is #20 entry for Hadoopアドベントカレンダー2011 http://www.zusaar.com/event/174001 Thanks to id:nagixx for http://d.hatena.ne.jp/nagixx/20111216/1324006829 , but I still wondering what will he write next :) I'm working on restoring my own Chi
http://engineering.pinterest.com/post/84276775924/introducing-pinterest-secor 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Pinterestが課金フローのログ収集に使っているSectorをオープンソースで提供しました。KafkaからAmazon S3などの長期保存用のストレージにログを送る仕組み (構成図) ですが、Amazon S3を利用した場合も、その結果整合性（アップロードされたデータがすぐ可視できる状態にならないケース & ファイルが一旦消えたようになり後ほど復活するケースが起こりうる。）に影響うけずに、データ消失がなく、スケール可能で、日付でデータのパーティションを区切ることもできるとのこと。 その信頼性を担保
40. データ内容を確認してみました(Version 1.2.6) xx-Data.dbに対してsstable2json実⾏してデータを確認 1. まずはデータ登録 set student_table['id100']['name']='Yamada'; {ky:“i10,clms:[“nm"“Ymd"17513290]} "e" d0""oun" [ ae, aaa,33158300] 2. データ論理削除 del student_table['id100']; {ky:"d0""eaaa: "e" i10,mtdt" {dltoIf" {mreFreeet:33162600 "eeinno: "akdoDltA"17516970, "oaDltoTm"17516},clms:[} lcleeinie:33162}"oun" ] ⇒Deleteしたよという情報がinsertされるイメージ
Enterprise IT leaders across industries are tasked with preparing their organizations for the technologies of the future – which is no simple task. With the use of AI exploding, Cloudera, in partnership with Researchscape, surveyed 600 IT leaders who work at companies with over 1,000 employees in the U.S., EMEA and APAC regions. The survey, […] Read blog post
While devo.ps is fast approaching a public release, the team has been dealing with an increasingly complex infrastructure. We more recently faced an interesting issue; how do you share configuration across a cluster of servers? More importantly, how do you do so in a resilient, secure, easily deployable and speedy fashion? That’s what got us to evaluate some of the options available out there; Zoo
etcd って何と聞かれた場合、一言で言ってしまえば zookeeper なんだけど Documentation · CoreOS etcd etcd is a highly-available key value store for shared configuration and service discovery. http://coreos.com/docs/etcd/ coreos/etcd - GitHub https://github.com/coreos/etcd etcd の良い所は curl で使える様な簡単な API SSL Cert 認証もオプションとして使える ベンチマークで 1000s of writes/s per instance を出せるくらい速い Raft を使って正確に、確実に分散する という感じらしい。作ってるのは CoreOS。 etcd はキーを
2013/05/30に開催した、HDFS HA(High Availability: 高可用性)セミナーの資料です。同じくご登壇頂いた、株式会社サイバーエージェントの上原誠様の資料は↓です。 http://www.slideshare.net/makotouehara39/cl-st-20130530nnhaRead less
大規模分散技術勉強会 in 名古屋 トップページページ一覧メンバー編集 Hadoop本読書会 - 13章 ZooKeeper 最終更新：ID:hgJMx3CHVA 2011年04月01日(金) 00:02:28履歴 Tweet Hadoop本13章が分かりやすい解説になっているとは言えないので、勉強会資料を書き起こしてます。Hadoop本は参考書程度に。(terurou) ZooKeeperとは A Distributed Coordination Service for Distributed Applications 「分散システムのための分散協調サービスです（キリッ」 『えっ』「えっ」 簡単に言うと分散システムでの面倒なところをよしなにしてくれるモノ 分散システムでロック・メタデータ共有・データ更新時のイベント通知等を行ってくれる Google MapReduceファミリーのChub
Co-author: Moira Tagle Today we are announcing the open-sourcing of Rest.li, a piece of infrastructure developed and used here at LinkedIn. Rest.li is a REST+JSON framework for building robust, scalable service architectures using dynamic discovery and simple asynchronous APIs. We feel that Rest.li fills a niche for building RESTful service architectures at scale, offering a developer workflow for
Enterprise IT leaders across industries are tasked with preparing their organizations for the technologies of the future – which is no simple task. With the use of AI exploding, Cloudera, in partnership with Researchscape, surveyed 600 IT leaders who work at companies with over 1,000 employees in the U.S., EMEA and APAC regions. The survey, […] Read blog post
ZooKeeper allows for dynamic reconfiguration of servers in its ensemble. Manual reconfiguration is problematic as it requires changing the configuration, restarting servers, and can result in data loss. The presented solution allows ZooKeeper to reconfigure itself automatically through a speculative reconfiguration approach. It commits the reconfiguration once quorums of both the old and new ensem
by Ruslan Meshenberg At Netflix we use a wide range of Open Source technologies. In the recent months, we also released many of our internally developed components and libraries, starting with Curator for Zookeeper, and most recently with Asgard. We started down this path by becoming a big user of Apache licensed open source software. When we picked Apache Cassandra as our data storage solution we
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
「Apache ZooKeeper」の開発チームは11月22日、最新版「Apache ZooKeeper 3.4.0」を公開した。Apache ZooKeeperは分散アプリケーション向けの協調動作制御サービス。ノードの名前付けや設定管理、同期、グルーピングなどの機能を提供する。 Apache ZooKeeper 3.4.0は、2010年3月にリリースされた3.3.0以来のメジャーリリース。3.3.3との後方互換性がある。改良点としては、Win32 APIやWindowsソケットを用いて実装されたCクライアント実装やKerberos認証サポート、複数のノードで安全にアップデート処理が行えるマルチアップデートなどが挙げられる。 また、Webベースの管理インターフェースが加わり、ログやスナップショットクリーニングの自動化機能も利用できる。そのほかcontribにモニタリングツールやレシピが追加
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
