こんにちは。 今日も元気にクローラー作成！バックエンドエンジニアのりほやんです。 最近クローラーを作成する機会が多く、その時にXPathが改めて便利だと思ったので XPathについてまとめてみました！XPathを学ぶ方の役に立てれば幸いです。 初級編 XPathとは XPathはXML文章中の要素、属性値などを指定するための言語です。 XPathではXML文章をツリーとして捉えることで、要素や属性の位置を指定することができます。 HTMLもXMLの一種とみなすことができるため、XPathを使ってHTML文章中の要素を指定することができます。 例えば、 <html> ... <body> <h1>ワンピース</h1> <div class="item"> <span class="brand">iQON</span> <span class="regular_price">1,200円</s
スクレイピングにおけるXPathの使い方を初心者向けに解説した記事です。 XPathとは、基本的な書き方、id・classなど様々な属性やテキストの取得方法、contains関数の使い方など要点を全て解説しています。 XPathとは XPathとは、XML形式の文書から特定の部分を指定して取得するための簡易言語です。HTMLにも使うことができます。 XPathはスクレイピングにおいて、HTMLの中から特定の情報を指定し取得するのに利用されます。 HTMLは次のようにタグと言う記号で構成されており、開始タグ、終了タグで囲まれたものを要素といいます。 上記の要素はtitleタグに囲まれていますので、titile要素と言います。 またHTMLは、１つのタグが別のタグで囲われ、というように入れ子の状態で記述されます。これらは階層構造とみなすことができます。 例えば次のHTMLについては、 このよう
はじめに。 xpath 便利です。 Xpathの書式を学ぶにはトライ・アンド・エラーが１番です。Xpathをもっと使うのためには、手軽なツールが必要です。 libxml のxpathコマンド 手軽なツールはlibxmlについてくるxmlintです。xmllint についてはココに書きました→xmlを扱う xmllint コマンドで xpath - それマグで！ しかし、xmlint では日本語の取扱が残念なので、xpathコマンドをnokogiriで再発明しました。 足りないので、自分で作った。 Xpathの便利さをもっと気づいて欲しい。なので手軽にXpathを試して練習したい。手軽に試したら、Xpathできたら楽しいよね。 学習用に、Xpathコマンドを作りました。 で、お手軽にXpathを作れるような方法を考えた結果、Nokogiriを利用したコマンドを作ることにした。 xpath ·
starts-with¶ 多くのサイトでは、要素の id 属性に動的な値を使用しており、要素を特定することが困難です。1 つの簡単な解決方法として、XPath 関数を使って、その要素について知っていることをベースに要素を特定するやり方があります。たとえば、動的 id が <input id="text-12345" /> のような形式で、 12345 が動的に変わる数だとすると、 //input[starts-with(@id, 'text-')] という XPath を使用できます。 contains¶ ほかのテキストに囲まれている可能性がある値によって要素を特定できる場合には、contains 関数を使用できます。たとえば、 <span class="top heading bold"> という要素を、 ‘top’ クラスと ‘bold’ クラスと組み合わせることなく、 ‘headin
配列は0からではなく１から始まる（[1]から） 先頭が / から始まれば絶対パス、そうでなければ相対パス、//なら全要素が対象。 （）で評価順序を考慮する
最近クローラーを作成する機会が多く、その時にXPathが改めて便利だと思ったので XPathについてまとめてみました！ XPathを学ぶ方の役に立てれば幸いです。 初級編 XPathとは XPathはXML文章中の要素、属性値などを指定するための言語です。 XPathではXML文章をツリーとして捉えることで、要素や属性の位置を指定することができます。 HTMLもXMLの一種とみなすことができるため、XPathを使ってHTML文章中の要素を指定することができます。 例えば、 <html> ... <body> <h1>ワンピース</h1> <div class="item"> <span class="brand">iQON</span> <span class="regular_price">1,200円</span> <span class="sale_price">1,000円</sp
XPathとは XPath(XML Path Language)とは、XML形式の文書から、特定の部分を指定して抽出するための簡潔な構文(言語)です。HTML形式の文書にも対応します。 CSSではセレクタを使ってHTML文書内の特定の部分を抽出しますが、XPathはより簡潔かつ柔軟に指定ができるとされています。以下の例はbody以下のリンク要素(hogeクラス)を取り出す書き方です。 CSSセレクタ html > body a.hoge XPath /html/body//a[@class="hoge"] XPathを試してみる 上記のとおり、XPathはHTMLのパースに使えます。なのでHTMLに対してXPathでデータを抽出するのがお試しとしては簡単でしょう。 Google Chrome で XPath を書いてみる Google Chrome の開発者ツールには、XPathによる検索
2016/09/22 追記 3秒でわかるようになってなかったので追記。 Seleniumとはなにか 自動でブラウザ動かせれるやつ。テストとかにつかえる。 Seleniumのインストール方法 http://www.seleniumhq.org/download/ Chromeでやる場合、chromedriverをダウンロードする https://sites.google.com/a/chromium.org/chromedriver/downloads $ python >>> from selenium import webdriver >>> driver = webdriver.Chrome('chromedriverまでのパスをここに書いてね！') どうやって自動で動かすのか？ 概要 DOMの要素をとって、それを動かす JavaScriptでDOMの要素を取得してうんちゃら〜って書く
3. スケジュール Keywords: • プログラミング入門 ソーシャルウェブアプリケーション, API, Oct, 12 bot, HTML5 • プラニング リーンスタートアップ, ビジネスプラニン Nov, 12 • プロジェクトスタート グ, HTML, CSS, PHP, javascript • 開発開始 Dec, 12 • 冬季開発合宿 チーム結成, 企画, ディスカッション git, フレームワーク, MySQL, Apache • ウェブデザイン Jan, 13 • 週間報告会 シナリオ, ペルソナ, ワイヤフレーム, サイトマップ, DB スキーム • jQuery, 中間発表 Feb, 13 ゲーミフィケーション, 仮説検証, データマ イニング, アクセシビリティ • 作業会 Mar, 13 レスポンシブデザイン, プレゼンテーショ • リリース会 ン Apr,
Python(lxml)でhtmlを処理する まとめ Pythonにはxml/htmlを取り扱うためのlxmlという便利なサードパーティモジュールがあります。 ここでは、lxmlを使ってhtmlを処理する際に、使えるメソッドなどを簡単にまとめています。 (例がHTML5を使ったものなので気をつけてください。) 初歩的なものを細かくまとめたものは、 「lxmlでhtmlを処理する」にあります。 また、 lxml にある全てのメソッドを紹介しているわけではありませんのでご注意を。 1. htmlの読み込み >>> dom = lxml.html.fromstring(html) >>> dom <Element html at 1967ed8> >>> dom2 = lxml.html.parse('python_tips_003.html') >>> dom2 <lxml.etree._El
lxmlでhtmlを処理する Pythonでhtmlを取り扱う際は、「htmllib(標準モジュール)」や 「Beautiful Soup」 といったモジュールがあります。 しかし、高速で柔軟な操作がしたい場合は、 「lxml」がいいということなので、 今回はlxmlでhtmlを操作する方法をメモしたいと思います。 lxmlは、Beautiful Soupより高速で、htmllibより柔軟なhtml(xml)操作を可能にするのですが、 日本語資料が少ないと言うのが難点でした。最低限のことならば、ちょっと英語を読めば、 何とかなりますが、ちょっと凝ったことをしようと思うと英語力がネックでつまづいてしまいました…。 そこで、今回は、自分がつまづいた所を中心に紹介したいと思います。 目次 htmlから情報を抽出する htmlソースを改変する まとめと補足 1. htmlから情報を抽出する htm
ヘッドレスブラウザとは「画面がないWEBブラウザ」の事です。 最近では Headless Chrome が人気です。 参考 : https://goo.gl/NQsFS2 が、npm だけでインストールできる phantomJS を紹介します。 ● phantomJS WebKit（Safari） ベースのヘッドレス（画面なし）ブラウザ ・phantomJSのインストール方法（npm のみでインストールする方法） npm install phantomjs 以下のパスを手動で追加します ./node_modules/phantomjs/bin/phantomjs ・phantomJSのインストール方法（Mac の brew を使う方法） brew install phantomjs ・phantomJSのインストール方法（CentOS の yum を使う方法） yum -y install
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
