JAWSUG architecture-crowler
- 1. クローラー＆Webスクレイピング with AWS Lambda JAWS-UG アーキテクチャ専門支部 クラウドネイティブ分科会 CDP議論会 #7 佐々木拓郎 2016/03/25
- 2. 自己紹介 佐々木 拓郎 • AWSとモバイル • http://blog.takuros.net/ • http://www.slideshare.net/ takurosasaki/ • twitter: @dkfj
- 8. ステートフルなページ スクレイピング プログラム Webサイト • 対話型のライブラリが必要な場合がある • ブラウザは不要 • ログイン状態の有無は、Cookieのみで対処可能なケースも パラメータ 遷移 html
- 9. JavaScriptによる動的ページ スクレイピング プログラム Webサイト • ブラウザが必要。ほぼヘッドレスブラウザを使う • PhantomJS&CasperJS （JavaScript APIで操作できるWebKitブラウザ） • JavaScriptを解析して、データ部分を探すという手もある ヘッドレス ブラウザ リクエスト html リクエスト レスポンス
- 10. クローラー／スクレイプのライブラリ JavaScript Python Ruby 構文解析＆抽出 cheerio-httpcli BeautifulSoup nokogiri 巡回＆保存 ??? Scrapy anemone Webページ操作 mechanize-js? mechanize? Mechanize ヘッドレス ブラウザ PhantoJS +CasperJA Splinter? Capybara (Selenium +PhantomJS)
- 13. サービス監視 生死監視用のページを作成すべき • apache/nginxでレスポンスするページ • apache/nginx+APPサーバでレスポンスするページ • apache/nginx+APPサーバ+DBでレスポンスするページ Web 層 HTTP O.K. アプリ 層 DB 層 アプリ O.K. DB O.K.