はじめに JavaScriptによってコンテンツが生成されるサイトは、よく使用されるBeautifulSoup4だけではスクレイピングできません。 例えば「最後までスクロールすると次のコンテンツが表示される」といったサイトです。 URLが変化するわけでもないし、どうすればいいのでしょうか…。 そんなときに登場するのがSelenium+PhantomJSです。 背景 さまざまなケースでWebスクレイピングができるようになりたいという想いのもと、今回も『Pythonクローリング＆スクレイピング』という本を参考に実践していきます。 単純に、Webスクレイピングは楽しいです。 やること 「note」というサイトのスクレイピングを行います。 トップページに表示される投稿の タイトル URL 概要 を抽出し、MongoDBやcsv、RSSで保存します。 何ができるのか 以下のようなページからスクレイピ
const puppeteer = require('puppeteer'); const loginUrl = 'http://***/' // テストするURL const pageTitle = 'React Test'; const id = 'takeda'; const pw = 'shinji'; const inputList = ['javascript', 'ruby', 'scala']; // ログイン画面の操作 async function phase1(page) { console.log('start phase1'); // ログインページに遷移する await page.goto(loginUrl); // @TODO titleのアサーション →puppeteerではアサーションは未実装 await page.screenshot({ path: 'i
Firefoxをダウンロード 現時点の最新版は Firefox 56 Firefox をダウンロード — 無料ウェブブラウザー 起動オプションに-headlessをつければヘッドレスモードで起動します。 起動しますがヘッドレスなのでわかりませんｗ とりあえず起動してみる Firefox 45と同じプログラムではgeckodriverが見つからないとの旨のエラー。 Uncaught exception: Unable to find Mozilla geckodriver. Please download the server from https://github.com/mozilla/geckodriver/releases and place it somewhere on your PATH. More info at https://developer.mozilla.org/e
Japanese / English Selenium Auto Exec Server(以降 Selenium AES)は、Seleniumによる継続的なリグレッションテストを行うためのツールです。 プロジェクトにおけるテストの手助けとなることを目標としています。 Selenium AESを使えば、SeleniumのHTML形式のテストを毎日決まった時間に実行し、その結果をメールで送信するといったことが簡単に行えます。 他にもSeleniumを使ったリグレッションテストを手助けするための様々な機能が提供されます。 Selenium AESは、Selenium RCを拡張することにより、実現しています。 また、Selenium RCのHTMLSuiteに対する使い勝手を向上させたツールとして、Selenium HTMLSuite Extensionというものも公開しており、Selenium
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
