CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
編注1：「シェル芸」とは、UNIXシェル（主にbash）のワンライナーを駆使して文字列加工を自由自在に操ることです。また、そのような能力をもつ人をシェル芸人と呼びます。 「行」＝「レコード」 デフォルトでAWKは「行」を「レコード」というものとして扱います。正しくは組込変数RS (Record Separater) で区切られたものをレコードと呼びますが、デフォルトでは、この組込変数RSは改行になるため、行がレコードそのものになります。また、このレコード単位の分割は、アクションでテキストファイルを読み込むと必ず行われるものとなっているため、ユーザーが特別に分割処理をしなくてもレコード単位で扱ってくれる、とても便利な仕組みです。 特殊なものとして、段落単位で読み込むために組込変数RSに空文字列を代入するものや、GNU AWK編注2ではファイル全体をひとつのレコードとして読み込む手法、組込変数
編注1：「シェル芸」とは、UNIXシェル（主にbash）のワンライナーを駆使して文字列加工を自由自在に操ることです。また、そのような能力をもつ人をシェル芸人と呼びます。 パターンとアクション AWKはパターンとアクションを組み合わせるプログラム言語です。日本語で「もし○○だったら、○○をする」という文章のうち、「もし○○だったら」という部分がパターンであり、「○○する」という部分がアクションです注1。このようにパターンとアクションで構成されるAWKの基本文法は直感的であるため、様々な機会で用いられます。これをAWKスクリプトで記述すると以下のようになります。 さて、「パターン」という名前から「正規表現にマッチする」ようなイメージを持たれるかもしれませんが、AWKのパターンは「条件式」そのものであり、その条件式の戻り値による「真偽」にしたがいアクションが実行されます。今回はこのパターンの真偽
awkという、古くからのスクリプト言語がある。（1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない）man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。 基本動作 awkの基本動作は、とってもシンプルである。
gawkは、テキストファイルの処理に適したスクリプト言語awkをGNU Projectが独自に実装したもの。ライセンスはGPLv3。 gawk 4.1.0は2011年7月に公開された4.0以来、約2年ぶりのメジャーアップデートリリースとなる。なお、4.0系では2012年12月に4.0.2が公開されている。 大きな変更点としては、従来それぞれ単独の実行ファイルとして提供されていたpgawkおよびdgawkがgawkにマージされたことが挙げられる。これに伴い「-R」オプションが廃止され、デバッグには「-D」オプションを使用、プロファイリングには「-p」オプションを使用するなどの変更が加わっている。また、拡張機能を読み込むための「-l」オプションがgawkでも利用可能になり、またawkライブラリファイル読み込みのための「-i」オプションも追加されている。 多倍長浮動小数点演算ライブラリのMPFR
The GNU ProjectのAwkフリーソフトウェア実装「Gawk」開発チームは6月30日、最新版「GNU Awk 4.0（Gawk 4.0）」を公開した。開発に約2年を費やしたというメジャーアップデートとなる。 Awkはテキストファイルの処理に適したスクリプト言語。GawkはAwkのGNU実装で、GPL v3で公開されている。 Gawk 4.0は、バージョン3.1.8以来のメジャーリリース版となる。多数の変更が加えられており、旧バージョンとの互換性が損なわれる変更もあるという。たとえばsubおよびgsubコマンドの挙動はデフォルトでPOSIX 2008準拠となり、また正規表現における文字クラス指定子の挙動はすべてのロケールで統一されるようになった。これにより、たとえば「[a-z]」という正規表現が特定ロケールでは大文字アルファベットにマッチする、という挙動がなくなるという。そのほか、
書籍「プログラミング言語AWK」 ユニバーサル・シェル・プログラミング研究所 出版部(USP出版)は、書籍「プログラミング言語AWK」(ISBN:978-4-904807-00-2)を復刊し、同社サイトの直販ページにて販売を開始した。価格は3,990円。当初復刊ドットコム上にて販売していたが現在は在庫なしとなっており、今後購入する場合は同社直販を利用する必要がある。 プログラミング言語AWKは、AWK開発者(Alfred Aho、Peter Weinberger、Brian Kernighan)による解説書を翻訳したもの。何度かの絶版および復刊を経て、USP出版より改めて販売されることとなった。判型はA5判、ページ数は320ページ。目次などは直販ページ詳細を参照してほしい。 USP出版は、ユニバーサル・シェル・プログラミング研究所の出版部門。UNIX/Linux関連名著の復刊や、新刊技術書
公式サイトより購入できる。本書はこれまで何度か絶版になっており、そのたびにAWKファンの根強いリクエストにより復刊されてきた。 AWKは、フィールド指向のテキスト処理スクリプト言語。ベル研究所におけるUNIX開発の過程で誕生し、開発者のアルフレッド・エイホ（Alfred V.Aho）、ペーター・ワインバーガ（Peter J.Weinberger）、ブライアン・カーニハン（Brian W.Kernighan）の頭文字から「AWK」と名づけられた。カーニハンはC言語の開発者としても知られている。 『プログラミング言語AWK』の原書『The AWK Programming Language』は、開発者自身3名による共著として1988年にAddison-Wesleyから刊行され、日本語訳は翌1989年にトッパンから刊行された。その後いったん絶版となり、シイエム・シイ、新紀元社と版元を変えて復刊され
ユニバーサル・シェル・プログラミング研究所 出版部(UPS出版)は、書籍「プログラミング言語AWK」を復刊し、発売を開始した。価格は3,990円。復刊ドットコム上にて販売されている。 書籍「プログラミング言語AWK」販売ページ プログラミング言語AWKは、AWK開発者(Alfred Aho、Peter Weinberger、Brian Kernighan)による解説書を翻訳したもの。何度かの絶版および復刊を経て、今回UPS出版より改めて販売されることとなった。判型はA5判、ページ数は320ページ。目次などの詳細は復刊ドットコム上を参照してほしい。
はじめまして。インフラチームの菅原といいます。 今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。 さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。 今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。 なぜAWKなのか？ 残念ながらAWKの知名度はあまり高くないようで、社内でも「なぜRubyでやらないのか？」と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW
数年前に, ASCII刊 「インターネットを256倍使う本」の /bin/sh httpd (shttpd) に触発されて, awk でも簡単なWebサーバ ahttpd を書いてみました. shttpd ではさすがに全部 /bin/sh で行うのは無理なので (誰か zsh で書きませんか :)), 内部で sed などのコマンドを起動していますが, ahttpd では基本的に awk の中だけで処理しています. まったくの遊びですが, 外に接続しない環境など, apache や cern httpd を 入れなくてもお手軽に使えますのでどうぞ。:) ソースコード: ahttpd (awk 151行) インストール: 使うポート名をたとえば 8002 とします. スクリプト中の BEGIN の中の変数を適当に設定する. /etc/inetd.conf に ahttp stream tcp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
