はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
Automatic Ruby v12.9.1 をリリースした。 重要な変更点として Automatic::Pipeline の形式を「フィードの配列」と定めたことが挙げられる。前バージョンの v12.6.0 であらゆるオブジェクトを格納できることとしたがこれを改め、いろいろとおかしくなっていた設計を整理してスッキリさせた。そのため幾つかのプラグインは廃止している。 これにより、本来のフィードアグリゲーターとしての原点に立ち戻っている。なんでもフィードにする Plagger とやろうとしていることは一緒である。 詳しくは日本語ドキュメントに色々書いてあるのはいつも通り。 バージョンがいきなり 12.9.1 な理由は ChangeLog を見れば一目瞭然だが 12.9.0 のリリース直後にバグが見つかったからだ。 RSpec をもっと充実させる必要があるだろう。 なんでも RSS フィードにす
都道府県別環境放射能水準調査結果をscrapingするの法 または PDF をスクレイピングするの法 http://www.mext.go.jp/a_menu/saigaijohou/syousai/1303723.htm このあたりからデータを取得できるわけだが、なぜか PDF なので、うんざりする。 こんなもんどうみても excel かなにかでつくってるんだから生データを提供しろといいたい。 まあ文句をいっていてもしょうがないので、こういう PDF をスクレイピングする方法について解説する。 pdftotext などのコマンドをつかうのがオススメ。今だと、poppler というライブラリが日本語もあつかえてすばらしすぎるので、これをつかうとよい。これは Perl/Python/Ruby のバインディングがあるので、それをつかってもよいがこういう場合、ライブラリなどでがんばって PDF
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
