This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい
1[INPUT] 2 Name tail 3 Tag tail.01 4 Path /var/log/system.log 5[OUTPUT] 6 Name s3 7 Match * 8 bucket your-bucket 9 region us-east-1 10 store_dir /home/ec2-user/buffer 11 total_file_size 50M 12 upload_timeout 10m 13[OUTPUT] 14 Name splunk Fluent Bit enables you to collect logs and metrics from multiple sources, enrich them with filters, and distribute them to any defined destination. Optimized data
Reactive Streamsというのはノンブロッキングなback pressure可能な非同期ストリーム処理の標準的な仕様を提供しようというもので、実装としてはAkka Streams、RxJava、Reactor Composable、Ratpackなどがあります。 Reactive StreamsについてはAkkaのコミッタであるKonrad Malawskiさんの以下のスライドがとてもわかりやすいです。 2014 akka-streams-tokyo-japanese from Konrad Malawski ストリーム処理（というか非同期メッセージング全般に言えることですが）では受信側の処理能力を超えるデータを送信し続けるといずれキャパシティを超えてオーバーフローが発生してしまうため、送信側に比べて受信側の処理能力が低い場合は送信側が手加減してデータを送信する必要があります。な
ウェブやインターネットコマースの隆盛によって、とてつもなく巨大なデータセットが出現し、そして、データマイニングによってそれらから情報が抽出されている。 巨大なデータに対するマイニングにおいては、従来から知られているアルゴリズムがそのままでは機能しないことが多い。巨大なデータを扱う上でこれまでとは違った処理戦略や技法が必要となる。 本書はデータマイニングにおいて重要な問題の解決に使われてきており、さらに巨大なデータセットに対しても使用できる実用的なアルゴリズムを、データベースやウェブ技術の分野で著名な原著者が解説する。 まず、データマイニングの本質や、データマイニングがどのように扱われているかを概観する。次に、今後非常に大量のデータの解析を行う際に、クラウドコンピューティングとともに重要視されると考えられ、この後の章の議論に必須のものとなるマップレデュースを解説する。その後、類似するアイテム
富士通と富士通研究所は12月16日、ビッグデータと呼ばれる多種大量のデータを負荷の増減に迅速に対応して分散並列処理を行う複合イベント処理技術を開発したと発表した。 ビッグデータからリアルタイムで価値を引き出すため、複合イベント処理技術が開発されてきたが、従来の処理方法で負荷の増減に対応するには処理を止めざるを得なかった。 今回、両社が開発した複合イベント処理技術は、処理を細粒度化し、その細粒度化された処理を実行中に他のサーバに移動する技術、および移動させる処理候補を最適に選択する技術によって構成される。これにより、時系列データの負荷増減に素早く対応して、イベント処理全体をサーバ間で動的に拡張・縮退可能とするとともに、処理自体の高速化も実現する。 同技術は、ビッグデータを処理する際に高い処理性能を維持しながら、複合イベント処理を止めずに負荷の増減に対応することを可能にする。これにより、大規模
Silk: A Framework for Building Data Processing Workflows Silk is an open-source workflow description and execution framework, written in Scala. With Silk you can create a workflow consisting of SQL, Unix commands, Scala programs. Example def appleStock = nasdaq.filter(_.symbol is "APPL") .select(_.time, _.close) .orderBy(_.time) // show the latest 10 stock price information appleStock.limit(10).pr
今年の初め、東証の株式売買の新取引システム「アローヘッド」が稼動しました。今までとは桁違いの高速な処理が売りのようで、人間のディーラーやデイトレーダーは大変だとか。アルゴリズム取引もよりリアルタイム度が増していくのでしょうね。 さて、表題にあげたComplex Event Processing ・・・CEP (ちなみにDrools Fusionは、DroolsのうちのCEPの機能を持ったモジュールの名称) は、金融セクターなどで注目・採用されているリアルタイムで大量のデータを処理する技術。現在のシステムではデータはデータベースに保存した後処理されるのが普通ですが、CEPでは、流れてくるデータを直接処理して結果を導き出します。たとえば、銀行の預金のトランザクションは日に何万件と出てくるわけですが、その中から不正な引き出しを検出したりするのはCEPの得意分野かと。 「短期間に通常より大きな額の
In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...
This document discusses NHN Japan's use of Fluentd for log collection, conversion, and analysis. It summarizes their architecture which involves collecting logs from servers using Scribeline, delivering them to Fluentd processes, converting the logs to a structured format using Fluentd plugins, writing the structured data to HDFS, and performing analysis and reporting with Hive. Key aspects discus
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Naiad: A timely dataflow system
