Pythonの代表的なクローラ構築フレームワークであるScrapyの概要を理解し，目的に応じたクローラ構築方法を学ぶことを目的とします．またクローラ構築の際に注意しなければいけない点（robots.txt，利用規約 等）や，クローラを日々運用するためのTips（ログ管理，デーモン化等）について知識が深まります． データ分析分野が急成長すると共に，分析対象となる情報をWeb上から自動的に収集する「Webクローラ（Web crawler）」と呼ばれる技術が注目を集めています． 本発表ではPythonの代表的なクローラ構築フレームワークScrapyを利用して，目的に応じたクローラを構築・運用する方法について学びます．ここでいう目的に応じたクローラとは，特定のWebサイトやサービスの情報に着目し選択的にクローリングしてくるクローラを指します．発表中では，クローラ構築方法に加えてクロール対象のサイト
