タグ

curlに関するchiku-sanのブックマーク (3)

  • curl-to-ruby: Convert curl commands to ruby's net/http

    Instantly convert curl commands to Ruby's net/http Ruby's net/http is notorious for not having the friendliest API, but it isn't all that bad. Ruby has great gems like faraday, but in libraries and small utilities it's better to kill your dependencies and use what the stdlib provides. This tool turns a curl command into ruby (2.0+) code using net/http. Currently, it knows the following options: -d

  • PHPでHTTPの並行ダウンロードを実現する(Guzzle編) - hnwの日記

    PHPで最近注目のHTTPクライアントライブラリにGuzzleがあります。日での知名度はまだまだという印象ですが、かなり高機能かつ真面目にメンテナンスされている印象で、今後のデファクトスタンダードになりうるライブラリと言えるでしょう。 稿ではこのGuzzleを使ってWebサーバから並行にダウンロードする方法を紹介します。Webブラウザのように同時に複数コネクションを管理しながらKeep-Aliveでコネクションを使い回しますので、下手なコードで実現するより接続先Webサーバにも優しいはずです。 Guzzleの特徴 まずは、Guzzleについて僕が特徴的だと思う点を紹介します。 パッと見でわかりやすいインターフェース cURLは必須ではないがデフォルトでcURLを使う cURLの無い環境がありうるので、cURL無しでも動くのは嬉しい cURLのわかりにくいインターフェースを隠してくれるの

    PHPでHTTPの並行ダウンロードを実現する(Guzzle編) - hnwの日記
    chiku-san
    chiku-san 2014/08/25
  • PHPでFC2ブログからデータを取得するときに文字化けする問題 | 備忘録

    FC2ブログのHTMLデータを取得する処理を書いてたら、妙な文字化けを起こすことがあることに気付いた。 しかも再現したりしなかったりで、なんじゃい こりゃあ? file_get_content でやっても、cURL でやっても発生する。 同じページをひたすら取得して先頭40bytesだけ表示するプログラムをループ実行させたら、ちゃんと読めるときと読めないときがある。わけがわからないよ… livedoor blog では問題なくて、fc2ブログだけで発生。 で、結論としては、FC2ブログのサーバ側が gzip 形式でデータを圧縮して送りつけてたのが原因でした。 ・・・え?(;゚Д゚) PHPって、デフォルトでデコードしてくれないの?? ▼対策:cURL の場合curl_setopt( $ch, CURLOPT_ENCODING, "gzip" );してから実行するとちゃんとデコードしてくれま

    PHPでFC2ブログからデータを取得するときに文字化けする問題 | 備忘録
    chiku-san
    chiku-san 2014/04/07
  • 1