Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Datadog はモニタリング関連の SaaS ではおそらく最も利用されているサービスでしょうが、公式ドキュメントが豊富にある割には何から読み始めれば良いかわかりにくく、慣れるまでの道が険しい印象です。 本エントリーでは、Datadog が既に導入されている組織で、Datadog モニターを使って監視をしたいけど、モニターの設定方法がよくわからないといった方を対象に、メトリクスモニターの作成に焦点を絞って解説していきます。なお、あくまで Datadog の使い方についての解説であり、どのようなモニターを設定すべきかについては触れません。 メトリクスの収集についても触れたかったんですが、力尽きたので、メトリクスの収集については気が向いたら別エントリーを書きます。 アジェンダ メトリクスモニターの作成方法の基本 クエリの定義について クエリの評価期間・評価方法・アラート条件の指定 クエリの結果
はじめに 昨今では1行につき、1つの JSON を出力する様なログファイル形式も珍しくはありません。 grep しやすい データベース化しやすい これらの理由で各所で多く使われています。僕も仕事で普通に使っているのですが、ある日突然そのログファイルを集計するスクリプトで以下の様なエラーが出始めました。
こんにちは、はてなでWebアプリケーションエンジニアをやっている id:polamjag です。 最近のはてなでは、若手エンジニアを中心として、いろいろな技術を見つめ直すワーキンググループをやっています。先日、id:onk も「デプロイ今昔」という記事を書きましたが、このエントリーはそのシリーズの続きで、ワーキンググループの「ログ」の回で議論したこと・話題になったことをまとめました。 Web開発におけるログを見つめ直す ログを4つの目的で分類する 目的ごとに求められる取り扱いの要求水準 いまどきのログフォーマットについて まとめ：どう実装するかを模索していく Web開発におけるログを見つめ直す Webサービス（Webアプリケーション）の運用には、多種多様なログがついてまわります。多くのミドルウェアは何もしなくてもそれなりの量のログを出力しますし、クラウド上のマネージドサービスも然りです。行
創造開発部インフラグループです。 (中の人：水野、中西) 昨今、SaaS 系のインフラツールが台頭してきています。 リブセンスでもかつて nagios で行っていたサーバ監視は、mackerel へと置き換わっています。 自社で持つものを厳選し、出せるものは外に出していくことで Web 企業のインフラエンジニアとして注力したい箇所へリソースを割くためにもこの手の SaaS 系ツールには注目しています。知らないだけで便利なサービスは他にもあるだろうということでリサーチを開始しました。 今回は、数ある SaaS のツールの中でもログ収集系に絞ったまとめとなります。 サーバログを管理したい時 オペレーション時に複数のターミナルを開いてログを見ながら作業を行うケースは多々あるかと思います。これから紹介するツール群は条件などで絞ったログや複数ホストのログを1枚の画面で出力してくれるツールとなります。
【Perl】ファイルリストからあるIDが最初に登場したファイルと最後に登場したファイルを得る 2016-03-23-2 [Programming][Perl] ログの処理でよくやるやつを未来の自分のためにメモ。 ファイルリストからファイル中のあるIDが最初に登場したファイルと最後に登場したファイルを得る。つまりは、滞在期間・活動期間を取り出すタスク。 入力ファイルリストを入力とするファイルは時間順に並べられているファイルフォーマットはTSV形式で各行の第一カラムをIDとする出力IDごとに初登場と最終出現のファイル名を出力ファイルリストの最後のファイルに出現している場合は今後も続く可能性があるのでフラグを立てる ■コード (lifespan.pl): #!/usr/bin/env perl # -*- coding: utf-8 -*- use strict; use warnings; #
最近、ちょっと基礎から見直し中なんだけど。 基礎からやり直す pic.twitter.com/klggTNCben— いのうえ (@a_know) 2016年3月13日 ↑のような本を読みつつ、よくわかんないところは本以外でも調べてみて、それでもわかんないところは社内の Qiita:Team に雑に書いてみたり、会社の知ってそうな人（インフラエンジニアさんとか）に聞いてみたりとかしてる。すんごい初歩的な質問をしてもみんな全力で教えてくれるから、もうまじイケメン。 で、今回タイトルの内容についてスッキリしたので、Qiita:Team だけじゃなく、このブログにも書いてみる。 rsyslogd と journald の違い・住み分け このページにある図がわかりやすいっすよ、と、↓の画像を見せてくれた。 コラム - クラウド時代のオープンソース実践活用 | 第56回 RHEL7/CentOS7の
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
今でも、 systemdのjournal におけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者として働いてきており、1年以上も syslog-ng の オープンソースエディションのメンテナ として活動してきました。だからこそ、テキストではないストレージフォーマットに対して、なぜ多くの人が批判的なのか、私は理解に苦しんでいます。更に、反論を唱える人までいることが信じられません。もしかしたら、私は別世界の人間なのかもしれません。ですが、より良い選択肢があるのに、テキストのストレージを使う理由はほとんどありません。ロギングをする必要性、そしてなぜ、テキストのログストレージに対してそこまで用心深いのかについて、私は何度も尋ねられました。ここに、私が導き出した答えを紹介したいと思います。 これは、journalについて弁明する
Log4j 2にも採用されたLMAX Disruptorはなぜ狂ったように速いのか？
LMAXという会社はおそらくFX業者で、筆者はLMAXの開発者の講演を、InfoQの動画で何度か見たことがあった。 彼らは非常に特異な集団で、さしずめ「Javaのスピード狂」という感じだ。 印象的なのは、シングルスレッドで仕事を片付けることを強調している点だ。 「Javaならマルチスレッドで並列処理すれば性能が出ると広く思われているが、我々の仕事においてはシングルスレッドが最速だ」というような主張を何度も見た。 ゴールドマンサックスといいLMAXといい、やはり多額の金が動く会社でガチでJavaをやっている連中はカリカリにチューニングするため、技術的には非常に面白い。 彼らがコアのライブラリをOSS化してくれるというのは、金融業界を否定的な目で見る筆者からすると複雑だが、悔しいことに参考になる。 LMAX DisruptorはJavaのライブラリだ。Producer/Consumerパターン
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ノベルは7月9日、ログ管理製品の最新版である「Novell Sentinel Log Manager 1.1」を発表した。同製品は、ソフトウェアアプライアンス形式で提供される。提供開始日は7月12日。 ソフトウェアアプライアンスとは、アプリケーションからミドルウェア、OSまでを統合し、業界標準のハードウェア上で実装できるようカスタマイズしたもの。このため、導入が簡単で、数分で利用を開始できるという。また、自動更新機能によって、時間のかかるメンテナンス作業も軽減される。同製品のソフトウェアアプライアンス化には、ノベルのウェブベースのアプライアンス構築ソリューション「SUSE Studio」を活用したという。 Novell Sentinel
解説 イベント・ログはWindows OSにおける重要な管理機能の1つである。記録されたログを確認することにより、システムの動作状況を把握したり、エラーなどの原因を調査したりできる。 イベント・ログに記録できるログ数には上限がある（正確には、イベント・ログのファイル・サイズに上限が設けられている。記録されるイベントの情報量によって、最大記録可能件数は変わる）。イベント・ログがいっぱいになった場合は、Windows Server 2003以前のWindows OSでは「古いイベントから上書きして記録する」か、「それ以上記録することを止め、古いログが上書きされることを避ける」という選択肢しかなかった。だがイベント・ログはトラブル・シューティングのための重要な情報源であり、上書きしたり、記録せず破棄する、という選択は望ましくない。そこで、なるべく多くのログを残すため、従来はイベント・ログ・ファイ
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
「ログはとっているけど、何に使えばよいのか分からない」というユーザーは多いのではないだろうか。それは目的を持ってログを収集していないからだ。今回は、ログ収集のポイントについて、S&Jコンサルティングの三輪信雄氏に話を聞いた。 ほとんどの企業でログは取得している。しかし、目的を持ってログを取得し、有効活用している企業はほとんどないのが実情だ。一方で、内部統制や個人情報漏えいに対策するために「ログを活用せよ」という経営からの要求は強まるばかりだ。 では、なぜログを有効活用できないのか。今回は、情報セキュリティビジネスの先駆者であり、総務省のCIO補佐官としても活躍しているS&Jコンサルティング 代表取締役の三輪信雄氏に話を聞いた。 多くの企業はログ砂漠が拡大を続けている 三輪氏はまず、「目的を持ってログをとっていない企業がほとんどだ。いわば、不毛なログの砂漠が拡大し続けている状態だ」と現状を分
「Event Log Explorer」は、Windowsのシステムログを徹底的に調査できるソフト。Windows NT/2000/XP/Server 2003/Vistaに対応し、作者のWebサイトからダウンロードできる。本ソフトは個人利用に限りフリーで利用でき、30日以上継続して使用するには無償のユーザー登録が必要。 Windows標準のイベントログ管理ツール「イベント ビューア」は、Vistaになって大幅に進化した。特定イベントの発生時に、「タスク スケジューラ」を利用してメールを送信したり指定プログラムを起動させるなどの機能が追加されたほか、サービスを利用することでネットワーク上の複数PCのイベントログを1台のPCで集中管理できるようになった。 しかし、その一方で検索など一部の機能は、XPの「イベント ビューア」と比べると機能が弱体化されてしまっている。「Event Log Exp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
