日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応できるライセンス体系を備えている。 構成はITジャーナリストの星 暁雄です。記事の最後にはプレゼントのお知らせもあります。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） ▽ IBM dashDB Local - ハイブリッド・データウェアハウスを実現する Software-Defined DWH - Japan プライベートクラウド上でソフトウェアで定義されたスケーラブルなデ
4. 素朴な実装 3 frequency = defaultdict(int) for line in opened_file: for word in some_splitter(line): frequency[word] += 1 for word in frequency: some_output(word, frequency[word]) ファイル frequency メモリに 辞書/ハッシュ/ 連想配列/Mapを 持つ頻度(Pythonic) frequency = collections.Counter( word for line in opened_file for word in some_splitter(line)) for word, count in frequency.iteritems(): some_output(word, count)
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday こんにちは、虎塚です。 昨日は、LINE株式会社さんが開催されたイベントLINE DEVELOPER DAY_2015 Tokyoへ参加してきました。 Taichi Hashimotoさんが講演された「B-5: ビッグデータを活用するための分析プラットフォーム 〜データ集計した先に求められる分析技術」を聴きましたので、レポートします。 前半は、さまざまOSSを活用して構築された、社内の利用者のニーズに応じたデータ分析基盤の紹介でした。後半は、KPIを人間が見るのでなく、変化を自動検知して通知するシステムを開発中というお話でした。 以下、レポートです。 データ分析について LINEにとってデータ分析とは何か Collecting: データを集約する
米Twitter傘下のGnipは4月10日（現地時間）、公開ツイートデータ「Firehose」の再販業者への直接提供を8月中に打ち切ると発表した。企業や組織へのFirehoseの提供はGnipのみが行うことになる。 Gnipによると、TwitterはGnip買収直後から再販業者へのFirehose提供打ち切りのプロセスを開始し、現在まだFirehoseを扱っているNTTデータと米DataSiftへのFirehose提供を8月半ばには終了する見込みという。 再販業者へのFirehose提供打ち切りの理由は、Firehoseのユーザー企業とダイレクトな関係を築くことが、Firehoseをサポートする最善の方法だと確信するからとしている。 Twitterは2012年に立ち上げた「公認製品プログラム」で、Twitterのデータの価値を高め、利用しやすくするツールの構築をサードパーティーに奨励し、F
これまでにないカスタマ―エクスペリエンスを実現 トレジャーデータのカスタマ―データプラットフォーム（CDP）は他とは異なります。バッチとリアルタイムのデータを組み合わせ、Al を活用してカスタマージャーニーをパーソナライズできるただ一つのCDPです。コンバージョン率の改善と、チャネルの最適化を実現します。
本書は、クラウド上でSQLを使ってビッグデータを解析するGoogle BigQueryについて包括的に解説する書籍です。Google BigQueryの使い方から内部動作、そしてBigQueryならではのSQLの活用法、サードパーティのツールとの連携までを詳しく解説します。また、BigQueryを支えるGoogleのインフラストラクチャについても総覧しており、現代最高の超巨大インフラストラクチャの姿を知ることができます。BigQueryの全体像をマスターできる本書は、ビッグデータをSQLで活用したいデータサイエンティスト、ソフトウェア開発者必携の一冊です。 訳者まえがき はじめに I部 BigQueryの基礎知識 1章 Googleにおけるビッグデータの物語 1.1 ビッグデータスタック 1.0 1.2 ビッグデータスタック 2.0（そしてその先にあるもの） 1.3 オープンソースのスタッ
今月号のニュートンの「人工知能が人類を超える日」を読みながら、人工知能トピックの論点を整理する必要があるな、と思った。 Newton(ニュートン) 2015年 04 月号 [雑誌] Amazon.co.jpで詳細をチェック 楽天市場でこの商品を検索 というのも、シンギュラリティという言葉を引き合いに出して、2045年までにAIが人類を超えるというのが、昨今の人工知能特集のメイン。だいたいそこに、Deep Learningと人間の仕事をAIが奪うというトピックを併せて、それっぽい現在の事例を並べるという構造を取っていることが多い。ニュートンもそうだし、最近みた人工知能系の特集はこのパターンが多い。ニュートンがちょっとおもしろかったのは、「人工頭脳プロジェクト〜ロボットは東大にはいれるか〜」の紹介で、センター試験物理の問題をコンピュータが理解するための技術的課題を整理している。これは、結構おも
といっても設立自体は去年なんですが、設立パーティーを開催したり、サイトもできて新規営業が始まりましたのでご報告をば。 株式会社データビークル http://www.dtvcl.com/ もともとは、私のやっているイレギュラーズアンドパートナーズ(I&P)という会社で未来予測事業部というのを立ち上げていて、少人数で回していたら案件が増えすぎて身動きが取れなくなっていたところを、お取引先さまのインフォテリアから油野達也、またこの方面では『統計学が最強の学問である』で著名になった西内啓がジョイン。どうせならちゃんと会社を立ててお客様のニーズに応えていこうということで、データビークル設立となりました。 パートナー会社さまのひとつであるパソナテックさんとこの3月3日に西内が出て行っていろいろ喋る話となりましたので、ご関心のある方はぜひご来場くださいませ。 ここから始まるビッグデータ経営本質論 htt
3大ボトルネックを解消すれば終わり、ではない これまでの連載では、ディスクI/O、CPU、ネットワークI/Oの3つの観点で、大規模データを処理するときのボトルネックの傾向と改善点について説明しました。それらの改善策をすべてを実施すれば、もう何も心配する必要はないのでしょうか？ 残念ながら、よかれと思って実施したチューニングがほかの箇所に影響を与える可能性があります。最終回となる今回は、その具体例を見ていきましょう。 データを圧縮した場合、CPUボトルネックが生じやすくなる 大規模データを扱うときは、データの総量を小さくしてストレージ装置のコストを削減するため、圧縮機能の利用を検討することが多いです。 データを圧縮する場合、RDBMSの機能を利用するのが一般的です。たとえばOracle Databaseには、以下のように何種類かの圧縮機能があります。 標準圧縮機能 OLTP圧縮機能（Adva
あけましておめでとうございます。Preferred Infrastructureの海野と申します。このところ人工知能という言葉をよく聞くようになりました。名だたるIT関連企業が、こぞって人工知能をビジネス化しようとしているという印象をうけます。こうした背景には何があるのでしょうか。そして、本当に近い将来に人工知能による大きなビジネスが花開くのでしょうか。本稿では、ここ数年の技術開発のトレンドの変遷を通して、人工知能ビジネスの動向を探ります。 人工知能のこれまで 「人工知能」という言葉に対して、どのような印象を受けるでしょうか。人間と共存し、言葉をしゃべり、自分で思考するロボットのようなイメージを持つ方は少なくないと思います。もちろんこうした人工知能を見たことがないように、現状ではこうした人工知能はありません。このような汎用的な知能をもつ人工知能は「強いAI」とよばれ、より具体的な部分問題を
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る シリコンバレーで起業し、順調にビッグデータビジネスを展開している日本人ベンチャー企業といえば、Hadoop Conference Japan 2013 Winterでも話題となったTreasure Dataがその筆頭に挙げられます。 ですが、Treasure Dataとほぼ同じ時期に西海岸でビジネスをローンチし、現在、国内外の投資家たちから高い注目をあつめるビッグデータベンチャー、それも日本人技術者が創業者である企業が実はもう1社存在します。それが藤川幸一氏率いるHapyrusです。今回、来日中の藤川氏に直接、Hapyrusが現在最も注力するAmazon Redshiftに関するビジネスを中心にお話を伺いました。 藤川幸一氏 Redshiftへのデータアップロードを事業の中核に ──H
マイクロソフト、リアルタイム分析のApache Stormをクラウドサービスで提供へ。Azure HDInsightに追加 マイクロソフトは同社のクラウドサービスであるMicrosoft Azureで、Hadoopをベースとしたマネージドサービスである「HDInsight」を提供しています。このHDInsightに、Hadoopによるバッチ処理に加えて、ほぼリアルタイムで大規模なデータ分析を実現するApache Stormをベースにしたサービスを追加すると発表しました。現在プレビュー公開中。 Hadoopは大規模なデータ分析を得意としていますが、基本的にはバッチ処理を行うように作られているため、流入するデータを次々に分析するようなリアルタイムに近い分析処理は得意ではありません。一方でApache Stormは短期間にデータ分析を次々に行う、いわゆるニアリアルタイムを得意としています。 Ap
Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
インターネットが社会に登場した頃と同様に、オンライン上のプライバシーに関する議論が再び高まっています。 本書は、ビッグデータの一般化によってもたらされるプライバシーへのリスクを考えるべく、「プライバシーとはどのようなものか？」「プライバシー保護はどのように行われてきたか？」「ビッグデータによってプライバシーを侵す（侵される）のは誰か？」「我々はどのようにふるまうべきか？」といった内容を、世界の各地域における事例を多数紹介しながら概説する書籍です。 コンパクトな分量ながら豊富な実例、事例を紹介し、ビッグデータとプライバシーを考える上での良いリンク集にもなっています。なお本書はEbookのみの販売となります。 まえがき 1章 パーフェクト・ストーム 鏡（Looking Glass）の国へ ビッグデータ時代へようこそ パズルのピースから全体像へ――未来とは今のことである 広告は狼男か ビッグデー
ビッグデータへの注目が過熱する一方、そこに含まれる個人情報の取り扱いについて、さまざまな議論や問題が巻き起こっています。本書はビッグデータを取り扱う業務に携わる読者に向けて、ビッグデータを扱う際の倫理について考え、議論を行う枠組みについて、「アイデンティティ」「プライバシー」「オーナーシップ」「信用」という4つの軸とともに紹介します。「倫理」という、個別性が高く、明快な答えの見つけづらい問題について、読者自身や組織の中で実りのある議論をする一助となるでしょう。なお本書はEbookのみの販売となります。 まえがき 1章 ビッグデータのビッグインパクト なぜビッグデータなのか？ ビッグデータは何を強制するのか？ ビッグデータは倫理的に中立である 何をすべきかを尋ねてはいけない 重要な概念と用語 2章 価値と行動 価値を明確に表現する 価値を行動に変える 倫理的判断ポイント 3章 現在の業務 研
日本は大丈夫なの？ このところ米国内では、病院などから重要機密情報が漏えいする事件が相次いでいるんだそうですね。最も有名なものとしては、Community Health Systems（CHS）がデータ管理を手がけている200以上の病院から患者のカルテを始めとする重要個人情報が盗み出され、450万人もの患者が被害に遭ったとされています。 どうやらハッカーは、とりわけ病院をターゲットに定める傾向を強めてもいるようで、セキュリティ調査会社のWebsenseによれば、病院を狙ったサイバー攻撃の件数は過去10か月間で600％増を記録したとの警告まで発しています。おまけに病院が狙われている理由が衝撃的なんですよね…。 1. 病院のセキュリティレベルは低い 人には言えない身体の悩みだって、信頼している医者になら打ち明けられると、頼りになる存在である病院ですが、実は多くのハッカーが、病院にサイバー攻撃を
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
