プロジェクトの作成 † mavenを使ってレコメンド・アプリケーションを作成します。 最初に、プロジェクトを作成します。 $ mvn archetype:create -DgroupId=sample.recommendApp -DartifactId=recommendApp -Dversion=0.0.1 ↑ pomファイルの変更 † pom.xmlのdependecyに以下の項目を追加します。 <dependency> <groupId>org.apache.mahout</groupId> <artifactId>mahout-core</artifactId> <version>0.2</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-jcl</artifactI
今年はさだまさしさんのデビュー40周年ということで、記念コンサート「さだまつり」も絶賛開催中の折も折、残暑も厳しい中皆様いかがお過ごしでしょうか。大平です。 さだまさし氏は経験の豊富な方ですので彼の歌や発言から学ぶことは大変多いのですが、個人的に非常に感銘を受けているのは「歌はコンサートで成長する」という言葉です。歌い手として、「歌」という作品を作って公開・販売するだけが仕事ではなく、実際にコンサートなどでお客さんに届け、お客さんの反応を参考にしたり日々の演奏活動の中で試行錯誤を繰り返して、内容をブラッシュアップし洗練させていく過程を指して先の言葉があるのだと思います。実際にさだまさし氏の曲はCDに収録されているものと実際にライブで演奏されるものとでアレンジが大きく異なり、かつ作品としても質が向上しているものが少なからず存在します。 …あまりさだまさしの話を続けると本当に上長に叱られますの
Hadoop上で動作する 大規模データマイニング・機械学習ライブラリ Apache Mahout に関し、技術情報まとめ・発信よる活用の裾野を広げることを目的としMahout JPを立ち上げました。 私も含め TokyoWebminingでMahoutに関する各種講師をしていたメンバーや、Tokyo.R、PRML会のメンバー含め、各業界のデータマイニング・機械学習で活動してきたメンバーで集まり、Mahoutに関する情報まとめ・発信をしていきます。 Mahout JP -Effective Applications of Apache Mahout in Japan- #MahoutJP 現在、Mahout はドキュメントがまだ整備されていなく、唯一ある書籍 Mahout in Actionでも情報が限られているため、実際に活用しようとするとソースコードから読み込む必要がある状態です。今回、
For Creating Scalable Performant Machine Learning Applications Download Mahout Apache Mahout(TM) is a distributed linear algebra framework and mathematically expressive Scala DSL designed to let mathematicians, statisticians, and data scientists quickly implement their own algorithms. Apache Spark is the recommended out-of-the-box distributed back-end, or can be extended to other distributed backe
Jubatus English Japanese
蓄積された大量のデータを分析し、隠れた事象や法則を発見していく技法、データマイニング。会員数2100万を超えるモバゲータウンを運営するDeNAは、サービス向上や開発に高度なデータマイニングを使うことで、ソーシャルゲームの世界展開を目指すという。 ソーシャルゲームのトップシェアを握るディー・エヌ・エー（DeNA）。主力である「モバゲータウン」（以下、モバゲー）は今日、ユーザーアカウント数2100万人超、1日のアクション数（ページビュー数）は実に20億超に達する巨大な仮想コミュニティ空間に成長した。DeNAは今、日本最大級の規模に成長したモバゲーを舞台として、ある新たな技術的挑戦を始めている。 「われわれがチャレンジしているその技術とは、データマイニングです」 こう語るのは、ソーシャルメディア事業本部ソーシャルゲーム統括部のグループリーダーを務める山田憲晋氏。モバゲーのソーシャルゲームを開発す
2011/02/22 Hadoop Conference Japan 2011に登壇してきました。35分の Main Talk。 『モバゲーの大規模データマイニング基盤におけるHadoop活用』に関して話しています。 『モバゲーの大規模データマイニング基盤におけるHadoop活用』−Hadoop Conference Japan 2011− #hcj2011 『モバゲーの大規模データマイニング基盤におけるHadoop活用』−Hadoop Conference Japan 2011− #hcj2011 View more presentations from Koichi Hamada. 現在のモバゲータウンでの、大規模データマイニング基盤の構成や、データマイニング・機械学習の活用、統一行動記述、それらの重要性等、話しています。データマイニング活用の部分等、口頭のみの説明で済ませてしまった箇
駅や野球場、高速で移動する新幹線の車内――。人が集まり、動くところに高速通信のビジネスチャンスがある。通信大手は鉄道会社などと需要喚起に挑む。 ■時速100キロの電車に8K映像 「デ…続き 時速500キロで途切れない 光ファイバー無線の仕組み ［有料会員限定］ 災害に強い通信へ 途切れぬスマホが命綱 ［有料会員限定］
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
by Gartner スティーブ・プレンティス VP＆ガートナーフェロー 堀内 秀明 リサーチVP 最近話題の「ビッグデータ」とは、利用可能な情報の量が指数関数的に拡大するという、今後の展望を表した言葉だ。ガートナーでは、ビッグデータはシステム部門にとって試練である一方、ユーザー部門にとってビッグチャンスであると分析している。 ビッグデータの例を示そう。米グーグルは、月間900億回というWeb検索のために、毎月600ペタバイトのデータを処理している。グーグルが処理するビッグデータは、単にボリューム（量）が大きいだけではなく、多様であり、複雑で、急激に増加するという特性を持っている。グーグルはビッグデータのために、独自のデータ処理技術を自社開発した。一般企業がこれまでと同じやり方でビッグデータに立ち向かうのは困難だ。 もっとも近年は、分散バッチ処理ソフト「Hadoop」のような新技術が台頭す
IT業界に新しい流行語がやってきた。「ビッグデータ」である。巨大なデータを、高度なデータマイニング手法によって深く分析し、その結果を活用する。そうすることで、専門家でさえ気づかない事象の変化への対応や、人を介さない意思決定が実現可能になる。ネット企業でなければ難しかったビッグデータの活用は、最近になって一般企業にも可能になってきた。そのためビッグデータの注目度が、一気に上がっている。 ビッグデータの活用は、米グーグルや米フェイスブックといったネット企業にとっては、企業競争力の源泉である。例えばグーグルは2010年6月の学会「ACM Symposium on Cloud Computing（SOCC）2010」で、同社が自社開発した分散バッチ処理基盤「MapReduce」を使って、月間94万6460テラバイト（2010年5月時点）というデータを処理していることを明らかにした。グーグルは毎月、
Google App EngineやAmazon EC2、Microsoft Azure、SalesforceなどのSaaS/PaaS/IaaSが広まるにつれて、 またHadoopやNoSQLのようなビッグデータを扱う技術が登場し広まるにつれて、 従来のシステム開発とは求められるスキルも変わってくるのではないかと思いつつあります。 そしてこれはSIerとかWeb業界とか関係無い気がしています。 ここで言っている従来のシステム開発というのは役割に応じた分業体制による仕事の進め方のことです。 つまり業務SEがお客さんと要件をつめ、インフラSEがインフラ設計をし、アーキテクトがアプリの基盤を設計し、開発者が実装し、QAが試験するという流れのことです。 個々の作業自体はクラウド時代、ビッグデータ時代でも必要なのですが、その中身が変わってきたため個々人の役割や求められるスキルも変わっていくように思い
次世代Hadoopの特徴は、 MapReduce 2とGiraph Hadoopの父に聞く、HadoopとClouderaの現在・未来 有限会社オングス 後藤 大地 2011/9/15 ■ 増え続けるHadoop活用企業 大規模データの分析に、Javaのフレームワーク「Apache Hadoop」（以下、Hadoop）を採用する事例が増えている。HadoopはMapReduceの実装系の1つで、特にログデータ解析やリサーチ目的の大規模データ分析や計算などに活用されている。TwitterやFacebook、mixi、LinkedIn、Groupon、Amazon、eBay、Yahoo!、楽天、クックパッド、リクルート、ディー・エヌ・エー、サイバーエージェントなどのいわゆるWebサービス系企業だけでなく、NTTデータ、Amazon Web Services、国立国会図書館、EMC、PFI、ウル
こんにちは、システム開発部のKTです。 今回は、Windows上にHadoopの実行環境を構築するためのお手軽な方法を紹介します。 Hadoopは内部でLinuxコマンドを使用しているため、本格的に使用するためにはLinux環境を準備する必要があります。一応Windows環境へのインストールも可能ですが、その場合は別途Cygwin等を使用する必要があり、いずれにしても個人ベースで行うには環境を整えるまでにある程度の手間がかかってしまいます。 そのため、「巷で話題のHadoopにちょっとだけ触れてみたい！」といった比較的軽い気持ちの人達にとっては、なかなか手を出し辛い代物になってしまっているのではないでしょうか。 ここではそんな方々のために、Windows環境に簡単簡潔にHadoopの実行環境を構築する手順を紹介します。 今回は、VMPlayerとCloudera社が公開しているVMイメージ
はじめに 近年、「Hadoop」というキーワードをよく目にします。もしかしたらこの記事を読んでいるあなたも、Hadoopというキーワードを目にしたり聞いたりしたことがあり、興味を持ってこの記事をご覧になっているのかもしれません。Hadoopとは何でしょうか？何ができるのでしょうか？今回から全5回にかけて、Hadoopの活用事例や活用のヒント、そしてこれからHadoopを活用しようと考えているエンジニアが知っておくべきことや、情報収集の仕方を解説します。 Hadoopって何？ Hadoopとは何でしょうか。簡単に言うと、テラバイト、ペタバイトといった巨大なデータを処理するためのオープンソースの分散処理基盤で、Googleが検索エンジンのバックエンドに利用している技術のクローンです。Googleは2003年に大規模分散ファイルシステム「Google File System（GFS）」につ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
