Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 河合 航平 2015.07.07 1273 194192628259 こんにちは。 4月から新卒駆け出しインフラエンジニアとして日々奮闘しております河合です。 "モバイル行動ログ収集基盤" を "小さく" 始めたので、以下にインフラ構築からモバイルまでの設計までをまとめたいと思います。今回このログ収集基盤を作るにあたって私自身がこれまで経験したことのない技術・ツールを利用しましたので、それらの導入についてもご紹介いたします。 導入の背景 私は英単語サプリを中心にインフラを担当しています。 英単語サプリとは、聞ける・話せる・覚えてるをコンセプトとした高校受験からTOEICまで対策できる英単語学習のサービスです。 ユーザの分析によく使われるツールの1つにGoogle Analy
fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO
cloudpack の 自称 Sensu芸人 の かっぱこと 川原 洋平（@inokara）です。 はじめに 前回 CloudTrail が東京リージョンで利用出来るようになったので簡単に触ってみましたが、実際にログを眺めてみて可視化出来ないかひたすら悩んでみました。また、せっかくログが出力されたことが SNS → SQS に通知が飛ぶのでそのあたりを利用してログ収集の自動化もやってみたいと思います。尚、以下は実験的な要素をかなり含んでおり現在も安定稼働出来ていないので参考程度に…。 参考 今回の構築、設定に伴い、以下のサイトやドキュメントを参考にさせて頂きました。 exec_filter Output Plugin fluentd / lib / fluent / plugin / out_exec_filter.rb fluentd out_exec_filter を使ってみた td-
よく訓練されたアップル信者、都元です。アドベントカレンダー2013「AWS CloudFormationビッグバンテンプレート」、本日は15日目です。 昨日は植木さんのソンナコトモアロウカト編でした。ナニコノナマエー( ´,_ゝ｀)ﾌﾟｯ fluentd ログっすよ、ログ。システムを物理サーバ1台で回していた時代において、全てのログがローカルファイルシステムに存在しました。grep等を駆使して動きを追いかけたりすることがそこそこ簡単にできましたね。しかし、今はクラウドの時代。サーバインスタンスの数が増えたのはもちろん、Immutable Infrastructure等の考え方が生まれたことにより、インスタンスの使い捨てリソース化が加速しています。 「XX月YY日ZZ時頃にサーバがおかしかったっぽいんだけどログ追ってよ」と簡単に言われるものの、そのファイルどこだよ、ってのがスタートです。当時
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
