April 6, 2016 - With the ubiquity of sensor networks and smart devices continuously collecting more and more data, we face the challenge to analyze an ever growing stream of data in near real-time. Being able to react quickly to changing trends or to deliver up to date business intelligence can be a decisive factor for a company’s success or failure. A key problem in real time processing is the de
続いて、ビッグデータ時代のBAを実践する際のポイントをIT基盤の側面から述べていく。最新のIT基盤を活用すれば、従来は困難だった情報分析が容易になる。 ポイント1●バッチは並列分散処理する 蓄積した大量データに対する分析処理では、依然としてバッチが効率的である。古い技術だと思われているが、これからも蓄積した全データを処理する場面では必須となる。例えば、Webログや売上データの分析などが挙げられる。 バッチの大きな欠点は、蓄積した全データを読み出して処理するため、データ量が増えれば増えるほど、時間がかかる点である。 前述したHadoopはバッチを並列分散処理によって高速化する代表的なソフトウエアである。ビッグデータのバッチ処理時間は、まずHadoopによって短縮しよう。 ポイント2●生データを蓄積する 分析に先立っては、生データの蓄積を意識したい。分析対象データの量が不足すると、必要な精度の
ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013
ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」でした。 Kinesisは、大量に発生するリアルタムデータを漏らさず永続化し、そこから必要なデータをアプリケーションに流すフィルタとして動作するようです。実際のデータ処理は、Kinesisからデータを受け取ったアプリケーションが行います。 2日目の基調講演で披露されたKinesisの説明をまとめました。 Amazon Kinesisを発表 Amazon.com CTO Werner Vogels氏。
AWS News Blog
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
出典：日経コンピュータ 2012年2月16日号 pp.94-95 （記事は執筆時の情報に基づいており、現在では異なる場合があります） ビッグデータの一種に、時系列に次々と発生するデータがある。これをリアルタイムに分析するのが「CEP（Complex Event Processing、複合イベント処理）」だ。センサーが絶え間なく生み出すデータを軽々とさばくアーキテクチャーは、スマートシティやM2M（マシン・ツー・マシン）など次世代の基盤技術としても注目が集まる。 従来の分析は、ディスクに格納した過去のデータが相手だった。CEPは、メモリー上に取り込んだ時系列データをすぐに処理し、ディスクには格納しない。こうしたリアルタイムの処理形態は、ストリームデータ処理とも呼ばれる。 時系列データの代表的な発生源が、各種センサーだ。CEPの適用例を一つ示そう。 多数の自動車にGPS（全地球測位システム）を
前回 id:fits:20120104 に引き続き、今回は Drools の CEP 機能（Drools Fusion）*1を Groovy で簡単に試してみました。 Drools 5.4.0 beta1 Groovy 1.8.5 (java 1.7.0_01 64bit) サンプルソースは http://github.com/fits/try_samples/tree/master/blog/20120105/ CEP用ルール定義（.drl ファイル） それでは CEP 用のルール定義を行います。 基本的な記法はルールエンジン用の .drl ファイルと変わりませんが、declare を使ってデータタイプを CEP 用に Event 宣言（@role(event) を付与）する点が異なります。 Event 宣言によって Sliding Window *2などが使えるようになります。 今回の
目 次トップページ/Top Page CEP日記/CEP Diary 技術レポート/Reports CEP技術リンク/Links CEP関連製品/Products 用語解説/Glossary このサイトについて About This Site 最近の日記エントリCEP Application Areas and Use Cases(09/09/02)CEPユースケースレポート(09/09/02)CEP-JP First Anniversary(09/08/31)CEP-JP一周年記念(09/08/31)CEP Demo Application(Closing Comments)(09/06/08)CEPデモアプリケーション(終わりに)(09/06/08)CEPエンジンを動かそう(編集扁1)(09/05/20) 2009年9月2日 CEPユースケースレポート (in English)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
