各種スクレイピングのために、レンダリング後(JavaScript実行後)のHTMLを出力するAPIを作る はじめに スクレイピングをしようとして、いざJavaScriptやPHPやGoogle Apps ScriptでHTMLの取得をすると、JavaScript実行前のソースが取得されてしまう。Seleniumなどを使えばいいが、環境を構築したり起動させっぱなしにしなければいけないので、コストやハードルが高いと感じる。 なのでレンダリング後のHTMLを取得してくれるAPIがあれば様々なプログラムから参照でき、スクレイピングが捗るのではないかと思う。 自分はGoogle Apps Scriptで株価を取得しようとしたところ、参照先がAjaxで株価を動的に生成していたため、スクレイピングできなかっためこのようなAPIが欲しいと思った。 今回は、簡単に実装したかったので、コマンドラインブラウザと
JSer.info #329 - Chrome 59βがリリースされました。 Chromium Blog: Chrome 59 Beta: Headless Chromium, native notifications on macOS, and service worker navigation preload Service Workerのnavigation preloadsのサポート、MediaError.messageのサポート、Image Capture APIの試験的サポートなどが行われています。 また、Headless Chromiumが追加されています。 詳しくは次の記事で解説されていますが、PhantomJSのようにXvfbなどが不要なChromeを動かすことができるモードです。 Getting Started with Headless Chrome | Web
Web 制作をしているとページの表示確認やコンポーネントの洗い出しなどで、大量にキャプチャを撮ってきたい時があります。 しかしブラウザのエクステンションで1枚ずつ撮るのも面倒です。 そこで PhantomJS と CasperJS を使うとキャプチャを自動化することができるということなので、先達たちの情報を参考に、キャプチャしたいURLと想定するデバイスを CSV で管理して、楽にキャプチャがとれるものを作成しました。 PhantomJS と CasperJS とは PhantomJS ですが、グラフィカルな画面のないブラウザで「ヘッドレスブラウザ」と呼ばれるブラウザです。コマンドラインからブラウザの機能を使うことができ、フォームの操作やページの要素を取得することができます。よく CI ツールと組み合わせて自動テストを行ったり Web スクレイピングで使われたりします。 PhantomJS
# -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as ec import nose.tools as nose # account email = 'user' password = 'password' ############# # phantomjs ############# # user agent user_agent = 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/
PhantomJSとは HP: PhantomJS 参考までに: GoogleとAppleが争う「WebKit」ってどうして重要？ 一言で言うと、WebkitベースのHeadlessブラウザ。Webkitとは主にWebブラウザーで用いられているレンダリングエンジンのこと。PhantomJSはwebkitにbuilt-inされているJavaScriptCore (safariとかもこれを使っている) というjavascriptエンジンを採用している。スクレイピングやスクリーンキャプチャなどにも活用可能。 PhantomJSに出会うまでの経緯 Python3.4でスクレイピングを試していたらJavaScriptのレンダリングがかかっているサイトにぶつかった。PythonでさくっとWebスクレイピングする (JavaScript読み込みにも対応しつつ)というサイトを参考に辿って行くことに。。 I
目的 リアルタイムに値の変わるデータがWEB上にありました。その値を定期的にチェックするプログラムを作ることになったわけですが、ページにログインする必要があったりと、スクレイピングのコードを書くのが面倒でした。その対策としてseleniumを使ってWebブラウザを操作し、スクレイピングをすることにしました。その過程を備忘録的にまとめていきます。 なお、手元のPCを使い、Webブラウザをバッチ処理で自動実行しても良かったのですが、、、普段使いの自身のPC上で、勝手にWebブラウザが立ち上げるのは邪魔だったので、レンタルサーバ上（Ubuntu16.04）で勝手に動かすようにします。 より具体的には以下のイメージになります。 （１）python経由でWebブラウザを立ち上げる → Part1(本投稿)で説明 （２）seleniumでWebブラウザを操作し、WEBデータを処理する → Part2で
はじめに PHPアプリケーションからWebアプリケーションに対してアクセスすることは多々あります。もっともよくあるケースはREST APIなどのテキストのみを返すWebアプリケーションへのアクセスかと思います。しかしまれにGoogle ChromeやFirefoxを操作したときのようにJavaScriptの動作を伴ったアクセスを行いたいときもありますよね。 PHPにはV8jsという拡張モジュールもあるようですが、今回は PHP PhantomJS を利用してその要件を実現することにします。 PHP PhantomJSとは PHP PhantomJSは別途インストールしたPhantomJSをPHPから使うためのインターフェイスを提供してくれるライブラリです。PhantomJSはいわゆる「ヘッドレスブラウザ」というものでGUIを持たないブラウザです。 当エントリでは基礎知識としてPhantom
File Not Found アクセスしようとしたページは 見つかりませんでした。 以下のような原因が考えられます。 記事が削除された URLが間違っている
インストール方法 http://phantomjs.org/download.html MacのLionにはHomebrewでインストールした。 brew install phantomjs CentOS5には http://phantomjs.org/build.htmlに書かれている通りにインストールした。 PhantomJSでWeb画面をキャプチャーする render()でWeb画面をキャプチャーしてpngやPDFにできる。 Macでは問題なく出来たが、CentOSではスクリーンショットを撮った際に日本語が化けていた。 こちらのサイトの情報で解決した。ありがたい。 phantomjsのrenderで日本語 http://d.hatena.ne.jp/imaiworks/20120816/1345107231 追記 CentOS6.5へはこちらを参考にフォントを入れました。 http:
サーバ側でWebサイトのスクリーンショットを撮りたいというときに、ヘッドレスブラウザのPhantomjsを使う方法はすぐに見つかる。これをNode.jsから使えるようにした「node-webshot」を使えばWebサイトのキャプチャを撮れるようにするのは簡単。ただ、Ubuntu 12.04では日本語サイトの文字が文字化け（□←所謂、豆腐文字になる）してしまう。これじゃ使えないので色々試したら以下で解決した。ちなみにOSX 10.8では文字化けせずにキャプチャできたので、以下設定は不要のはず。 まず普通にNode.jsでスクリーンショットを撮れる環境を作る。詳細は触れない。 「node-webshot」という便利なライブラリをDL、インストール。 https://github.com/brenden/node-webshot ただ、このままだと文字化けするので以下の方法で回避。 まずIPAフ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
