Introducing Cloud Inference API: uncover insights from large scale, typed time-series data Whether businesses are measuring clicks, queries, or sensor readings, they’re often generating time series or event-driven data. Analyzing this data offers businesses the potential to uncover insights in real time, but oftentimes it also means building a learning system that can scale to millions or even bil
現在仕事で作っている異常検知システムについてPyCon mini Osakaで登壇してきました。異常検知というマイナーなトピックですが、多くの人に聞いてもらえてよかったです。 #pyconjp #pyconosaka 「Pythonを用いた異常検知システム構築の裏側」 吉田康久さんです！ たしかはてなの人だったはず。 pic.twitter.com/hRacSgV59D— PyCon mini Osaka (@OsakaPyConMini) 2018年5月19日 はい、はてなのMackerelチームの中の人です。 機械学習の人からすると「なんだただの混合ガウス分布か」と思われるかもしれませんが、異常検知のシステムを実際に作ろうとすると考えることが色々あります。今回の発表では ユーザーのどのような要望から異常検知機能を作るに至ったか 異常検知とはそもそも何か、どういった問題設定か 異常検知手
All slide content and descriptions are owned by their creators.
はじめに カブクで機械学習エンジニアをしている大串正矢です。今回は深層学習を用いた時系列データにおける異常検知について書きます。 背景 深層学習を異常検知に使用するにあたって閾値設定や評価尺度であるROCについての記述が日本語のウェブの資料で見つけられなかったので本ブログで記述することにしました。以前のブログに異常検知の基礎的な内容があるのでその内容を踏まえた上で読んで頂けると理解がしやすいと思います。 異常検知の基礎 時系列データにおける異常検知 情報圧縮に関するモデル(AutoEncoderなど) 利点: RNNなどに比べ少ないパラメータで学習可能なため高速 欠点: 系列データ特有の過去の値を考慮した予測ができない 系列データに関するモデル(RNNなど) 利点: 系列データ特有の過去の値を考慮した予測が可能 欠点: 構造上、GPU上での並列化が難しいため学習に時間がかかる 本記事では系
第40回インターネットと運用技術研究発表会の招待講演で『Web サービスの信頼性と運用の自動化について』というタイトルで発表しました。
Long Short Term Memory Networks for Anomaly Detection in Time Series Pankaj Malhotra1 , Lovekesh Vig2 , Gautam Shroff1 , Puneet Agarwal1 1- TCS Research, Delhi, India 2- Jawaharlal Nehru University, New Delhi, India Abstract. Long Short Term Memory (LSTM) networks have been demonstrated to be particularly useful for learning sequences containing longer term patterns of unknown length, due to their
社内で異常検知本の輪講を進めています。今回は近傍法による異常検知。一年くらいに一人で読んだときのメモはこちら。慣れない人は途中で出てくる劣モジュラの概念や勾配の導出が大変かなと思ったので、メモ書きしておきます。 劣勾配/劣勾配法 目的関数が連続で微分可能な関数の場合、SGDなどによって最適化が可能な場合がある。しかし、微分可能でない点を含む場合(機械学習の文脈ではヒンジ損失やL1正則化項など、様々なところで目にする)、単純な勾配法は使えない。しかし、勾配の概念を拡張した劣勾配法で最適化を行なえる場合がある。 連続で凸な関数fがあったときに、任意のに対して を満たすようなをにおけるfの劣勾配という。勾配は一つの値であるが、劣勾配は条件を満たすものが複数存在することがあるので、値ではなく集合として与えられる。1次元で書くと分かりやすいが、右辺が傾きgで、点(a, f(a))を通る直線であり、左
Amazon Kinesis Analytics offers a built-in machine learning algorithm that you can use to easily detect anomalies in your VPC network traffic and improve security monitoring. Join us for an interactive discussion on how to stream your VPC flow Logs to Amazon Kinesis Streams and identify anomalies using Kinesis Analytics.
Gunosyデータ分析部アルバイトの鈴木です。今回は密度比を利用したバージョンリリースにおける異常検知について学んだことをまとめたいと思います。 1 やりたいこと 2 密度比を用いた異常検知のイメージ 3 ダミーデータでの実装例 4 参考資料 やりたいこと ニュースパスをバージョンアップした時に、もし異常があればユーザーアクションログからその兆候を見つけてslackなどに通知できるようにすることが目標です。 現在弊社では、バージョンアップ時に異常がないかどうか調査するために人手を割いています。しかし、もし自動で異常を確実に見つけられるようになれば社員さんの負担も軽くできますよね？こういったことが異常検知のモチベーションです。 密度比を用いた異常検知のイメージ あるアクション（例えばforeground）をある期間に １回行ったユーザーが３人、 ２回行ったユーザーが５人、 、、、 といった具
今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerなどなど、必死になって使い方を覚えました。しかしだんだん、「これ、コマンド覚えてるだけで自分に何も技術身についてなくない？」という疑問や焦りが湧いてきて、自分は便利なツールを使いこなせるようになりたいんじゃなくて、いつの日かみんなが使って便利なツールを作る側になりたいんだ、ということに気づきました。そのような思いから今回初めてライブラリを作り、公開してみました。 データサイエンス的背景 世の中は時系列データで溢れています。ビジネスの場において、データの何かしらの変化の兆候を捉えて、いち早く意思決定をしたいという場面がよくありま
5. この章では多次元の問題について考える 多次元の異常検知問題の例：スパムメール検知 メール文章中の各単語の 出現頻度情報を利用して スパム (=異常) か判定 { こんにちは: 1, お得: 0, … } → 普通のメール ( 正常 ) { こんにちは: 0, お得: 10, … } → スパムメール ( 異常 ) 6. この章では多次元の問題について考える 多次元の異常検知問題の例：スパムメール検知 メール文章中の各単語の 出現頻度情報を利用して スパム (=異常) か判定 単語の種類数が次元数に相当する { こんにちは: 1, お得: 0, … } → 普通のメール ( 正常 ) { こんにちは: 0, お得: 10, … } → スパムメール ( 異常 ) 8. { こんにちは: 1, お得: 0, … } → 普通のメール ( 正常 ) { こんにちは: 0, お得: 10,
Anomaly Detection in Streams with Extreme Value Theory Amossys-team/SPOT: SPOT algorithm implementation (with variants) KDD2017の異常検知の論文です。異常検知を行なうとき、何らかの閾値を設定しますがこの閾値の決定は難しいことが多いです(そして精度にはよく効いてくる...)。正規分布のように理論的によく知られていて、解析的にも扱いやすいような分布では、累積分布関数を逆に辿ると「99.9%に対応する閾値はこれ!」と設定することができます。しかし、確率分布を陽に仮定するとそれ以外の分布ではきちんと動かなかったり、データ毎にモデル化をする必要があります。陽に確率分布を仮定しない方法もありますが、そちらはデータが少ないor厳しめのパーセンタイルを指定したいときに難しさがありま
最近、異常検知の実験/実装を行なっていますが、その過程の中間成果物をmackerel-agentのチェックプラグインとして切り出しました(非公式のプラグインです。サポート宛てにお問い合わせしてもらっても回答できません。id:syou6162まで個人的に連絡してもらえたら対応できるかもしれません)。docker pull yasuhisa/check-host-metric-anomalyで簡単に使えるので、是非遊んでみてください。 syou6162/check-host-metric-anomaly: Mackerelのホストメトリックの異常検知を行なうチェック監視プラグイン yasuhisa/check-host-metric-anomaly - Docker Hub このチェックプラグインの使いどころは ホスト監視をしたいが、どれくらいの閾値が適当なのか分からない/閾値の調整が面倒なの
下記勉強会での資料です。 http://ml-professional.connpass.com/event/18814/Read less
井手剛が書いた本のサポートページです。 異常検知と変化検知 (講談社, 2015) [冒頭部立ち読み] [ 講談社サイエンティフィクのページ] 本書は、前著『 入門 機械学習による異常検知』の続編と位置づけられます。統計学における伝統的な仮説検定の枠にとらわれず、最新の機械学習の技術を幅広く盛り込みながら、異常検知・変化検知の実用的な技術を体系的に解説するよう努力しました。 理論構成上の本書の特色は、異常検知問題を「ネイマン・ピアソン決定則」と本書が呼ぶ考え方に基づく意思決定の問題として定義し、通常いわゆるベイズ決定則に基づいて行われる2値分類問題との違いを明確に区別していることです。これによりラベル付きデータの取り扱いが明確になり、また、共著者の杉山さんのグループがここ数年精力的に展開してきた密度比推定理論とのつながりも明確になります。この点において、前著『入門 機械学習による異常検知』
2. 自己紹介 ・Facebookページ https://www.facebook.com/matsukenbook ・Twitterアカウント @kenmatsu4 ・Qiitaでブログを書いています（統計、機械学習、Python等） http://qiita.com/kenmatsu4 （3500 contributionを超えました！） ・趣味 - バンドでベースを弾いたりしています。 - 主に東南アジアへバックパック旅行に行ったりします （カンボジア、ミャンマー、バングラデシュ、新疆ウイグル自治区 etc） 旅行の写真 : http://matsu-ken.jimdo.com Twitterアイコン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
