はじめに ChromeのDevToolsなどで見るように、ブラウザ上で読み込んだファイルを読み込む方法を紹介します。 seleniumから直接読み込むことで、 リクエスト数を減らせる 適切な方法でリクエストできる (ヘッダ、Cookieなど) といったメリットがあります。 特にリクエスト方法が複雑なサイトの場合、その条件をjsファイルなどから解析せずに自動化できるため便利です。 ※スクレイピングが禁止されているサイトでの利用は控えてください 方法 以下の2つの方法があります。 selenium-wire を使う メリット 簡単に使える デメリット 実行中にエラーが出ることがある 読み込んだデータが取得できないことがある 「保護されていない通信」になる 自力で実装する メリット 自分の使い方に合ったように作成できる デメリット エラーなどには自分で対応する必要がある (私は最初 seleni