こんにちは。広報スタッフの楢崎です。 9月10日、11日の2日間開催された「オープンソースカンファレンス2010 Tokyo/Fall」にて、 Yahoo! JAPANはHadoopについて講演させていただきました。多くの方にご参加いただきありがとうございます。 （写真：明星大学・日野キャンパスにて） ここでは、当日講演で使用したプレゼン資料を紹介させていただきます。 ●Hadoop ～Yahoo! JAPANの活用について～ ヤフー株式会社 R&D統括本部 角田直行、吉田一星
This document describes how to set up and configure a single-node Hadoop installation so that you can quickly perform simple operations using Hadoop MapReduce and the Hadoop Distributed File System (HDFS). Supported Platforms GNU/Linux is supported as a development and production platform. Hadoop has been demonstrated on GNU/Linux clusters with 2000 nodes. Win32 is supported as a development platf
This page describes how to get your environment setup and is IDE agnostic. Requirements Java 7 or 8 (Branch 2) or Java 8 (trunk) Maven 3.3 or later Your favorite IDE Protobuf 2.5.0 Setup Your Development Environment in Linux The instructions below talk about how to get an environment setup using the command line to build, control source, and test. These instructions are therefore IDE independent.
General Overview Single Node Setup Cluster Setup Commands Reference FileSystem Shell Hadoop Compatibility Interface Classification FileSystem Specification Common CLI Mini Cluster Native Libraries Proxy User Rack Awareness Secure Mode Service Level Authorization HTTP Authentication Credential Provider API Hadoop KMS Tracing HDFS Architecture User Guide Commands Reference NameNode HA With QJM NameN
このページの最終更新は 2009年10月15日 (木) 09:45 に行われました。 このページは 214 回アクセスされました。 プライバシー・ポリシー LunaBiblosについて 免責事項
久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapReduceのオープンソース実装Hadoopは「Hadoop Streaming」という標準入出力でデータのやりとりができる仕組みを使って、 Hadoopの実装言語であるJavaにとらわれず、RubyやPerlなど他の言語でもMap＋Reduceの処理ができることが１つのウリになっています。 で、僕たちwebエンジニアはみんなJavaScript大好きなので、「JavaScriptでもMap Reduceやりたい！」という流れになるのは必然です。 そこで、試行錯誤でいろいろ試してみると割とさっくり出来たのでそのメモを残しておきたいと思います。 環境の整備 Mac OSX上のVMWare FusionにCentOSの仮想マシンを２台立ち上げて、環境セットアップしました。
The Apache Hive wiki has moved to Confluence! If you're looking for a particular page name, try this list. (There's also a generated HTML version of the Confluence content. Please keep this link here so that search engine crawlers can find it; they're blocked from the live Confluence content by a robots.txt file, and we want them to find the HTML anyway to reduce load on Confluence.)
This page describes the different clients supported by Hive. The command line client currently only supports an embedded server. The JDBC and thrift-java clients support both embedded and standalone servers. Clients in other languages only support standalone servers. For details about the standalone server see HiveServer. Command line Operates in embedded mode only, i.e., it needs to have access
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
Apache Hive TM The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive. Getting Started With Apache Hive Software¶ Check out the Getting Started Guide on the Hive wiki. Learn more Ab
ドイツのプログラミング大会優勝作品、わずか4キロバイトで作られた映像がやばい（動画）2010.09.17 12:009,939 これは...一体なにをもってしたらこの映像と音楽が4キロバイトで表現できるのでしょうか。 ドイツで行われているプログラミング大会、｢Breakpoint｣の2009年度4KB部門優勝作品だそうです。にわかには信じがたいのですが、本当にこのファイル、4KBしかありません。 ネタ元では、 何がどうなったらコレがプログラムオンリーなのか俺には理解できない領域に達してるプログラムがまったく分からない俺にもわかるように、なんかたとえ話で解説してくれ。 という人たちの為に、この4KBのすごさが様々に例えられていました。 実際のグランドピアノと同じレベル(構造)のピアノを親指くらいの大きさで再現して作るくらい凄い。本来なら１ｔの鉄を使わないとまともな自動車が出来ないはずなのに、
はじめに 2010 年 9 月 15 日を持ちまして、サイボウズ・ラボを退職いたしたました。 報告も兼ねて、久しぶりにブログを書いてみたいと思います。 （写真はゆうすけべーさんです） この会社に入って、たくさんの学びと思い出がありました。 その一つ一つをまとめていければ、素晴らしい記事になるのかもしれませんが、僕は文章が苦手です。 ですので、うまく退職のエントリを書き上げることができません。 言葉にできない。そんな感じです。 なので、このエントリはサイボウズ・ラボやサイボウズ本社の仲間たちへのありがとうの気持ちをこめて、自分らしく最後まで JavaScript のことを書きたいと思います。 サイボウズでの最後の仕事 僕にとって、サイボウズでの最後の仕事は「JavaScript で新しいユーザーインタフェースを作ること」でした。 そして、その中で始めて複数人による大規模な JavaScrip
先日から公開を始めたPEAR(PECL)チャンネルでは、チャンネルサーバーの管理にPirumを使っています。 元々はChiara_PEAR_Serverを使おうとしていたのですが、インストール後のスクリプトがうまく動かずにコードを追っかけていたところ、@iteman 先生に「PHPUnitが移行したやつを使ってみてはどうか」と勧められたのがPirumを知ったきっかけでした。 “Pirum”はラテン語で“梨の実”という意味らしく、“PEAR”そのまんまですね。公式サイトの画像がなぜナスなのかは定かではありません。 以下に公式サイトの紹介文を和訳してみました。 Pirum is a simple and nice looking PEAR channel server manager that lets you setup PEAR channel servers in a matter of
ORMの構文を必ず使う必要なんてないのですよ。 <?php // なんでもいいのでConnectionとってくる $employeeTable = Doctrine_Core::getTable('Employee'); $con = $employeeTable->getConnection(); $sql = "SELECT * FROM employee where YEAR(employed_at) = :year"; $employees = $con->fetchAll($sql, array(':year' => 2009)); $sql = "SELECT * FROM employee ORDER BY employed_at DESC LIMIT 1"; $employee = $con->fetchRow($sql); $sql = "SELECT id FROM e
共同通信の「ソフトバンク携帯を使うな」というお達しが記事になり、ソフトバンク携帯の「つながりにくさ」について話題になっている。 「使えないソフトバンク携帯」 共同通信デスクが怒ったわけ : J-CASTニュース TwitterのTLで、「SBは800MHzを持ってないから、周波数割り当てがケシカラン」という意見が飛び交ったので、「専門家でない人にはそう思われちゃうのかな、困ったもんだ・・」と思ったのだが、上記の記事を読むと、SBの公式見解がそういうことになっているらしい。 ちょっと待て。全く関係ないわけじゃないが、それではあまりに説明不足。素人である記者がそう思いこむのは仕方ないが、それなら素人にもちゃんとわかるように説明しないといけないと思う。（専門性といったって、エンジニアである必要すらない程度の話なのだから、「こういう記事書く記者が素人である」こともまた問題だと思うのだが、それはまた
ls とか mkdir とか cp とか cat とか、/bin にあるプログラムのソースコードを読んでみたいな、って思ったときの解決方法。 まずはそのプログラムがどのパッケージに含まれるか調べる。例えば ls だと ~$ dpkg -S /bin/ls coreutils: /bin/lsこれで ls が coreutils というパッケージに含まれていることがわかった。ではそのパッケージのソースをダウンロードしよう。 ~$ apt-get source coreutilsダウンロードしてきた圧縮ファイルを解凍すればソースコードが入っているので、紅茶でも飲みながらそれを眺めましょう。
iostat -x の %util を監視してしきい値を超えたらアラートメール飛ばしたいなぁと思って crontab 書いた。こんな感じ。 */5 * * * * perl -wle 'my $s = `/usr/bin/iostat -xk /dev/sd[abc] 270 2 | tail -4`; print $s if $s =~ m{\s(?:[0-9]{3}|[5-9][0-9])\.[0-9]+$}m'ポイントは、 iostat の後ろから２つ目の引数がサンプリングを行う秒数 tail で デバイス数+1 することで、最後のサンプルを取り出す 正規表現で50%以上だった場合に標準出力に iostat の結果を出す＝メール送信
スティーブ・ジョブスが来日した際に持ち込もうとした「手裏剣」は、実はiPodのプロトタイプだったのかもしれません。 [source: Scoopertino ] 週刊誌「SPA!」が、アップルのCEO・スティーブ・ジョブスが7月に来日し、帰国する際プライベートジェットに手裏剣を持ち込もうとして保安検査で足止めされた、という記事を掲載し、海外でも話題となっているようです。 来日したのは事実ながら、手裏剣の件はガセネタとの情報もありますが、再現(?)動画が登場するなど、関連したニュースが後を絶ちません。 そんな中、アップル関連のパロディサイト「Scoopertino」が、手裏剣はiPodのプロトタイプだった、とする面白い記事を掲載しています。 もちろんパロディですが、実在する製品と間違うほど、アップルのサイトそっくりのページを作成するなど、かなり凝った内容です。 iPhone 4以上に「握り方
そういえば、「Javaがつかえます」、という基準はどこにあるだろうか。 そんな考えをまとめてみた。 おいらの場合特定のプロダクトを使いこなせるというよりは、標準APIの基礎が広く薄くわかっているというレベルかなぁ。 たとえば暗記していてクラス名やメソッド名などすらすらでてくる、というのは望ましいけど、そうではなく、JavadocやIDEの補完、ネット上の情報見てそれなりにやれるというレベルを期待したいところ。どうせ、開発始めれば細かい使い方はわかるようになるし。 かなーりあまい基準で「そんなへっぽこレベルでできるといわれても困る」とおこられそうだけど。 言語の文法は基本抑えているというのが前提として以下のものが当てはまる人。 Java2Dがわかる Graphics/2Dをある程度触れる BufferedImageとVolatileImageの違いを理解している 日付処理がわかる Dateの
shっていうかdateコマンドですけど。 安直に「1 month ago」でいいじゃん！と思った人は負けです(ぼくもですけど＞＜)。 これはいいんだけど、 $ date '+%Y-%m-%d %T.%N'; date '+%Y-%m-%d %T.%N' -d '1 month ago' 2010-09-16 18:05:00.342008278 2010-08-16 18:05:00.344293593 このケースだと前月になってない # date 053100002010 >/dev/null; date '+%Y-%m-%d %T.%N'; date '+%Y-%m-%d %T.%N' -d '1 month ago' 2010-05-31 00:00:00.000000000 2010-05-01 00:00:00.004000016set $(date '+%Y %m') y=$1
「Appleのスティーブ・ジョブズCEOが来日の際、関西国際空港でプライベートジェットへの手裏剣持ち込みを禁止を告げられ激怒した」と報じたSPA！の記事が世界で話題になっている。Apple広報部はBloomburgの取材に対し、「作り話だ」と否定したというが、米国やアジアで話題は拡大。台湾のアニメニュースサイト「NMA」は、SPA！が伝えたてん末を脚色して3Dアニメ化し、YouTubeで公開した。 アニメは、ジョブズ氏が土産物屋で手裏剣を購入するシーンからスタート。空港の手荷物検査場で手裏剣持ち込みをとがめられ、怒って忍者に変身。検査員に手裏剣を投げつけている。 米国のメディアでも、「ジョブズ氏は忍者か!?」といった内容の記事が掲載されるなど盛り上がっており、ニュースサイト「BUSINESS INSIDER」は、ジョブズ氏の写真を忍者風にコラージュした画像を掲載。Webマガジン「Slate
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
