最近、fluentdという言葉を聞くことが多いと思います。fluentdは、それぞれのサーバからログを収集し集約する為のアプリケーションです。fluentdは「Log everything in JSON」を合言葉に、全てのログをJSON形式で扱います。また一緒に聞くキーワードとしては、大規模とかリアルタイムとかがあると思います。この時点で関係ないやと思って、興味を失った人も多いと思います。しかし、今後のログ管理は、fluentdが主流になるか解りませんが、同様の集約するフレームワークが中心になると思います。 何故、fluentdが必要か？ まずはオンプレミスの世界から見て行きましょう。ログはサーバーにたまり、管理者はサーバにログインしてログを参照します。特に問題はありません。 次にAutoScalingを使わないAWSの世界です。これも同様に、ログはサーバーにたまり、管理者はサーバにログ
カテゴリ：Webサービス | apache | druby | ezjail | fcgi | freebsd | imapd | java | lighttpd | mail | rails | ruby | security | sqlite3 | svn | tuigwaa | vista | webdav | 暗号化 | 送料計算 ■ [suzuka][freebsd][apache] logrotateをつかってApacheのログをローテーション FreeBSDでは、ログのローテーションのために標準でnewsyslogが使われていますが、Apacheの複数のログをローテーションするには扱いが面倒です。 Linuxなどで標準搭載されているlogrotateでは、複数のファイルに対してログのローテーションの設定ができます。Apacheなどのsys
以前 LVS + Ultra Monkey で負荷分散 (設定編) - 酒日記 はてな支店 で書いたように、Apache を LVS で負荷分散したのですが、この際にアクセスログを一つに (時系列を保って) まとめるにはどうすればいいか、ちょっと悩みました。 結局 Apache からパイプ経由で logger コマンドを起動して syslogd でログ取得ホストに飛ばす、ということをしたのですが、いくつか問題が。 ログの先頭に syslogd の日付 (Jan 24 18:33:30 www1 logger: ) が付く → 集計の邪魔 syslog は 1メッセージ 1024 byte までしか記録できないので、尻切れになる行が (稀にだけど) 発生する Linux の syslogd は書き込みの際に頻繁に sync するので、DISK IO が大量に発生して重い 特に最後のは、秒間数
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
