ContraPasso 自分用メモ トップページページ一覧メンバー掲示板編集 Hadoop/Javaプログラムの実行 最終更新： contrapasso 2010年11月07日(日) 13:54:00履歴 Tweet 質問・意見はこちらのスレッドで承ります。 ディレクトリHADOOP_HOMEで作業を行う場合。 ディレクトリ構成 {HADOOP_HOME}/workspace/ ┗━ Test.java 方法1：classファイルを用いる場合 1.コンパイル javac -classpath hadoop-0.20.2-core.jar workspace/Test.java {HADOOP_HOME}/workspace/ ┣━Test.java ┗━Test.class 2.クラスファイルのある場所をHADOOP_CLASSPATHに追加 export HADOOP_CLASSPATH
HDFS Permissions Guide を見ると、HDFS では Linux とかで見られるようなパーミッションが設定されるようになっているらしい。 そしてスーパーユーザは NameNode の実行ユーザになるらしい。 確かに今までは HDFS に対する操作を hadoop ユーザで行ってきたのだけど、たとえば root ユーザなんかでファイルを HDFS に put しようとすると以下のように怒られる。 # ./bin/hadoop fs -put hoge.txt hoge.txt put: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="user":hadoop:supergroup:rwxr-xr-x なので、たとえば r
2012-11-06 Linux/RAIDトラブル Linux Ruby/Passenger 2012-11-05 Memo/TwitterのOAuthでUnauthorrzed 2012-11-01 jQuery/画像読み込み完了通知 jQuery/delay処理 jQuery MenuBar 2012-10-11 Hadoop/Error/初期化後JobTrackerが起動できない時 Hadoop/Error/Incompatible namespaceIDs 2012-10-10 Linux/LinuxのLVM形式のDiskを他のサーバから吸い上げる方法 Hadoop/CDH3u5/実験用の設定メモ Hadoop/CDH3u5/設定ファイル作成 Hadoop/CDH3u5/hadoop-0.20-tasktracker.noarch Hadoop/CDH3u5/hadoop-0.20
In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...
やってみました。Hadoopはver 0.20.2です。 まずはここの通りにHadoopインストール http://happy-camper.st/lang/java/hadoop/hadoop-on-macosx.html 私も300番台があいていたので、300にしました。 ちなみに多用しているdsclコマンドはDictionary Service Command Line utility。こんなコマンド知りませんでした。 ssh-keygenで鍵を作成するとき、パスフレーズを求められたら空にします。なんかぼーっとしててパスフレーズをいれてしまって、やり直しになった。 つぎにhbaseをインストール http://happy-camper.st/lang/java/hbase/hbase-on-macosx.html ただ、これがhbaseが起動しませんorz 2011-02-17 16
内容 ほぼHadoop on MacOSXの内容を参考にさせていただきました。 MacOSX：10.7.2 Lion Hadoopバージョン：hadoop-0.20.205.0 動作モード：擬似分散モード HADOOP_HOME：/usr/local/hadoop アプリケーションアカウント：hadoop (RecordName：_hadoop) グループID/ユーザーID：300 ホームディレクトリ：/var/lib/hadoop Hadoopのダウンロードと展開 apache hadoopのダウンロードページから最新バージョンをダウンロード。 私はhadoop-0.20.205.0をダウンロードしました。 hadoop-0.20.205.0.tar.gzを展開 場所は/usr/localに限らずどこでも。 cd /usr/local sudo tar zxvf /path/to/had
(今回の記事は、id:naoyaさんの記事をパクってにインスパイアされて、PHPでやってみたものです。話の内容としては概ね同じです。) 前回の記事の最後で、「HadoopStreamingはReducerへの入力が構造化されていないという問題点があります。」という事を書きました。 前回の小説の文を分かち書きしたものの単語数カウントの例で言うと、Reducerに渡ってくる入力は次のような形になります。 単語1 1 単語1 1 単語2 1 :今回は、単純にハッシュ上にカウントしていくだけなので大した問題にはなりませんが、もっと複雑な処理をReducerにやらせようとすると、PHPプロセスのメモリ不足になってしまう可能性があります。 PHPでHadoopStreamingの入出力を汎用的に扱う という訳で、id:naoyaさんの作ったフレームワークを参考に、PHPで同じようなものを作ってみました
あいかわらずHadoopStreamingが楽しくてやっているんですが、そろそろ自宅サーバ1台だけで処理するのは限界っぽいので、AmazonEC2上でHadoopStreamingにチャレンジしてみました。 AmazonEC2の導入に関しては、以下のまとめ記事からのリンクを参照しまくりさせてもらいました。多謝。m(_ _)m →Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - 元RX-7乗りの適当な日々 そして、AmazonEC2上でのHadoopStreamingの動かし方に関しては、以下の記事を参考にさせてもらいました。 →hadoop-ec2でアクセス解析してみたよ！ - soffritto::journal 階層的クラスタリングをEC2上で動かしてみる とりあえずテストという事で、前回の記事で作成した階層的クラスタリ
IndexWed May 02 2012 Mac OS X 上で Hadoop 疑似分散環境を構築 Mac OS X 上に、テスト用に Hadoop のスタック (Hadoop MapReduce + Pig + Hive) を構築します。Hadoop の関連プロジェクトの基本的なプライマリのターゲット OS は Linux ですが、そこは UNIX たる OS X ですので、Windows 上に Cygwin で無理やり構築するしたモガキ環境などよりも、圧倒的に普通です。 テスト用ですので、複数台のホストを要する分散モードには触れません。また、HDFS が無いとテストになりませんので、ローカルでもありません。実運用のためではないので、ユーザは、デフォルトの作業用ユーザのまま実行します（専用ユーザを宛てがいません）。 バージョンとしては、Mac OS X 10.7 (Lion) 上に構築し
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce Fr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
