[PHP][cURL] cURLでリダイレクトをたどるようにする
PHPはサイト解析するためにURLから情報を取得する方法がたくさんある。 その一つにcURLというのがある。 cURLではHTTPステータスコードが300系などで既に移転してしまったサイトなどは リクエストのヘッダにLocationがあればリダイレクトしてたどっていく機能がある。 //URLを指定する $url='google.co.jp'; //cURLを初期化して使用可能にする $curl=curl_init(); //オプションにURLを設定する curl_setopt($curl,CURLOPT_URL,$url); //Locationをたどる curl_setopt($curl,CURLOPT_FOLLOWLOCATION,true); //最大何回リダイレクトをたどるか curl_setopt($curl,CURLOPT_MAXREDIRS,10); //リダイレクトの際にヘ
curlというコマンドを使えば、Linuxなどのサーバー上でコマンドラインから簡単にHTTPやFTPなどのリクエストを処理することができます。 PHPのcURL関数 は、そのcurlコマンドと同等の機能を関数レベルで提供してくれます。 このcURL関数を使って、HTTPクライアントをプログラム上に実装してみたいと思います。 ちなみに、プログラムをHTTPクライアントとして動作させたい場合は、PEARのHTTP_Client を利用した方が直感的でわかりやすいかもしれません。 PEARのHTTP_Clientの利用法は、「Twitterのタイムラインを取得するPHPスクリプト 」で簡単に触れていますので、そちらも合わせてどうぞ。 まずは、PHPのプログラムからとあるサイトへアクセスし、ブラウザ同様にHTMLを取得すると言うことをやってみます。 <?php $url = 'http://www
PHPで長時間かかる重い処理を行うとき、 マルチスレッドで動かせたらなぁ！と思うことがよくあります。 マルチスレッド処理を行うことで、時間のかかる処理を 複数同時に並列実行でき、高速化することができます。 (特に通信処理などで遅延がある場合に有効です) PHPにはpcntl_forkというプロセスをフォーク(複製)することが できる関数がありますが、これはPHPをCGIモードで 動かしている場合にのみ有効です。 通常はPHPをApacheモジュールとして動作させていることが 多いので、これが使えないケースが多々あります。 他には、system関数などでシステムコールを行い、 など & を使って実行するという方法もありますが、 これもphpがCGI版として実行できなければいけません。 システムコールで呼ぶプログラムをPerlなどで 書けばいいのですが、できればPHPで全部統一したいものです。
使い捨てレベルで、クローラを作らなくちゃならなくなったので、とりあえず file_get_contents でもループして放置するか…とも思ったけれど、せっかくなので同時に4接続ほどするようにしてみた。PHP5には curl_multi_exec という便利なものがあるので、これを使う。 ソース クローラクラス <?php class multiCrawler{ var $uriArray = array(); var $output = array(); var $timeout = 0; var $ua = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12'; //最大同時接続数 var $accessMaxNum = 4; var $start = 0; /
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
