IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
MapReduceのJava実装Apache Hadoopを使ってみた:いま再注目の分散処理技術(後編)(1/3 ページ) 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画(編集部) Apache Hadoopプロジェクトとは何か? 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
インストール時に打ったコマンドのログです。 素直にQuick Startを見た方が参考になると思いますが、日本語で実際に入れた人間のログが役に立つこともあると思ったので公開してみた感じです。 ディレクトリやユーザの構成は、割と自分仕様になっています。 # hadoop用にユーザを追加してみる(任意) $ sudo addgroup -gid 5000 hadoop $ sudo adduser --uid 5000 --home /home/hadoop --shell /bin/bash --system --group hadoop $ sudo passwd hadoop # hadoopユーザになる $ sudo su hadoop $ cd ~ # SUN純正のJDK6をここからダウンロード http://java.sun.com/javase/ja/6/download.htm
ubuntu9.10にhadoop環境を構築。 ちょっとお試しレベルなので、擬似分散モードで構築。 参考にしたURL:http://metasearch.sourceforge.jp/wiki/index.php?Hadoop%A5%BB%A5%C3%A5%C8%A5%A2%A5%C3%A5%D7 環境 Linux ns1 2.6.24-27-server #1 SMP Thu Jan 28 00:36:19 UTC 2010 i686 GNU/Linux 下準備 sunのjavaと、SSHとrsyncが必要なのでインストール。 $ sudo apt-get install ssh rsync sun-java6-jdk $ java -version java version "1.6.0_12" Java(TM) SE Runtime Environment (build 1.6.0_
Googleで実用化されHadoopで流行しているところの分散処理フレームワークMapReduceをKyoto Cabinetにおいても実現してみた。その解説。 ローカルなMapReduce MapReduceは多数のマシンが連携して分散処理を行うためのフレームワークなので、プロセス組み込みDBMであって分散など全く関係ない世界に生きているKCでMapReduceを実行して意味があるのだろうか。答えは、「あんまりない」である。それにもかかわらず実装したのは、何となく話題性がありそうだからってのが最大の理由なのだが、もうひとつ理由がある。 スクリプト言語で集計処理をやろうとすると、めっちゃメモリ食うしCPUパワーを使うわりに遅いからである。1000万件のソートってだけでスクリプト言語だと結構辛いからね。そこで、MapReduceフレームワークをC++で実装してmapとreduceだけをスクリ
夏が近づくとウキウキしてくるmikioです。昨日ついにリリースされたKyoto Cabinet 1.0について今回は報告します。 1.0の位置づけ コミュニティ毎や製品毎にバージョン番号割り当ての方針は異なるわけですが、私の個人的なポリシーでは、1.0には特別な意味があります。すなわち、0.xのバージョンはbeta版的な位置づけで、「実サービスに使うのはちょっと待った方がいいですよ」ということを意味します。一方で、1.xはstable版的な位置づけで、「よろしければ実サービスでも使ってみてください」ということを意味します。私がstable版に設定する原則を以下に列挙します。 安定稼働を至上命題とする(バグがあればその修正を最優先する) APIを変更しない(変更するとしても後方互換性を維持する) DBファイルのフォーマットを変更しない(変更するとしても後方互換性を維持する) なるべく機能追加
林 成之●1939年、富山県生まれ。日本大学医学部、同大学院医学研究科博士課程修了。救命救急の医療に取り組み、日本大学医学部教授などを経て、日本大学総合科学研究科教授。2008年、北京五輪の競泳日本代表チームの結果に貢献した。 北京五輪の代表選考会に来てくれと頼まれて東京辰巳国際水泳場に行ったとき、私は北島康介選手の泳ぎを見て驚いた。残り10メートルで、明らかに世界記録よりも体半分前に出ていたのだ。 「おおっ、やった!」 思わず私は立ち上がったが、タイムは世界記録に0.43秒及ばなかった。 北島のタイムを見た全日本の平井伯昌コーチが、日本選手はゴール前が弱いのだと言った。私は、原因は10メートル手前でもうゴールだと思って泳いでいるのではないかと読んだ。これを聞いた選手たちは、当然のことだが、自分たちは必死で泳いでいるのにという態度を示した。 私が、「全力で泳いでいない」と言ったのには訳があ
狂信的なフォロワーである「カツマー」に持ち上げられた後、「アンチカツマー」に叩き落された勝間和代さん。この経験を通じて見出したのが、素直で従順な人たちが絶対無謬の「お上」からすべての目的を与えられ、その中で暮らす構図が生む「まじめの罠」の存在だ。 彼女は、日本社会全体が、何かに対してまじめに努力した結果、自分や社会を悪い方向に導いてしまうリスク=「まじめの罠」にハマっていると指摘し、それに対する処方箋を示している。 成功者を「ズルをしてるに違いない」と攻撃 ――私は「勝間和代を嫌う人たち」のプロファイリングをだいぶしてきましたが、その過程でとても興味深い事実を見つけています。それは、私を嫌う人の典型的なパターンの一つが、「まじめに仕事をしているわりには成果が出ていない人」という事実です。 より具体的には、高学歴にもかかわらず高収入を得ていないとか、頑張っているにもかかわらずつまらない仕事し
※動画ではタップ連打してますがオートモードも搭載されてます。2つの速度から選べるので読みやすいです。 それではゲームを始めていきましょう。 最大で3つまでセーブできます。 初めてプレイする人向けにガイド機能があります。 もちろん初めてなので【はい】を選んでゲームを始めていきます。 【はい】を選ぶとプレイ中に【ガイド】が表示されるようになります。 【ガイド】のメッセージは下にスクロールして読んでいきます。 最初に登場する主人公は渋谷中央署の新米刑事、加納慎也(かのうしんや)と 渋谷の若者グループの元リーダー、遠藤亜智(えんどうあち)の2人。 ただ、亜智はまだ選べないようです。 というわけで加納編からゲームスタート。 誘拐事件の張り込みを行っている加納。 文章のなかに青い文字が登場することがあります。 この青い文字を一度タップして選択したあと、もう一度タップすることでTIPが読めます。 渋谷署
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く