はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Greasemonkey - Mozilla Firefox まとめサイト で、Dive Into Greasemonkey の日本語訳 (PDF)が公開されてます。 これは凄く良い仕事。いやマジで。超感謝。 で、それの28頁以下で、Firefox に組み込まれた XPath のサポートの使い方が説明されてまして、これで /getElements?By.+/ 地獄からおさらば出来るわけですが、 XPath を解釈するのに使う document.evaluate は引数がたくさんあって、生で使うのは面倒いです。 でも使う引数はクエリ部分以外は普通は決まってるので、30頁以下で、XPathを楽に使うために以下の関数を定義すると良いよね、とあります。
結論特定のclass属性を持った任意の要素にマッチするXPath(hogeは指定したいclass属性名) //*[contains(concat(" ",normalize-space(@class)," "), " hoge ")] 特定の要素にしたい場合は適当に div[contains(concat(" ",normalize-space(@class)," "), " hoge ")] などとする． 概要特定のclass属性を持った任意の要素にマッチするXPathというのはアドオンやUserJavaScript，スクレイピングの際にDOMノードを特定するために良く使いますが，XPathの書き方がマズイ人がたまにいます．普通に考えたらXPathはこうなります． XPath1:: //*[@class="hoge"] class属性は以下の引用部分に書かれているとおり，スタイルシート以
XPath Cookbookネタで書いてたんですが、長くなったのでとりあえずこちらに。 id:taizoooにリクエストされた//とdescendant::の違いについて。 下準備として、こういうHTMLをサンプルとして使用します。(サンプルはFirebugのコンソールで実行できます) document.body.innerHTML = <><![CDATA[ <ul id="root"> <li> <a href="#a1">a1</a> </li> <li> <a href="#b1">b1</a> </li> <li> <a href="#c1">c1</a> <a href="#c2">c2</a> </li> <li> <a href="#d1">d1</a> <a href="#d2">d2</a> </li> </ul> ]]></>.toString(); まず、//*とd
node()と*の違い //node() //* をそれぞれ実行してみればわかるが、node()はテキストノードなどを含めたすべてのノードを、*はNode.ELEMENT_NODEな要素だけを選択する。この違いはパフォーマンスに影響を与えるので、意識して使い分けるのが良い。 なお、 * はattributeとnamespaceを基準点とした場合はそれぞれattributeとnamespaceを選択する(例://@* は全てのAttrを選択する)。 詳細は仕様書でXML Path Language (XPath) - 2.3 ノードテスト 省略シンタックスと非省略、そして少しの応用 // は /descendant-or-self::node()/ の省略形である。/divは/child::divの省略形で、//div[1]は//div[position()=1]を(さらに)省略した形である
すべての要素 //* div直下のp //div/p style属性を持つspan //span[@style] alt属性のないimg //img[not(@alt)] idがheaderな要素 id("header") rel属性がshortcut iconなlink要素 //link[@rel="shortcut icon"] 子要素にimgを持つa要素 //a[./img] 子、子孫にa要素を持つh2要素 //h2[.//a] 子要素にulがないdiv //div[not(.//ul)] javascript:から始まるhref属性を持つa要素 //a[starts-with(@href,"javascript:")] alt属性の値がsrc属性の値と同じであるimg要素 //img[@alt=@src] alt属性の値がsrc属性の値と異なるimg要素 //img[@alt!=@
XPathGraph とは http://xpath.kayac.com/ URL と XPath を指定すると URL の先をスクレイピングしてグラフを作ってくれるサービスです。 このエントリでは、どのような手順で XPath を組み立てていけばいいかをよくあるパターンで解説します。 0. 値の元となる要素を探す <div class="hoge">1,234,567</div>//div[@class="hoge"] 1. カンマを外すなど、純粋な数値に変換する 1,234,567translate(//div[@class="hoge"], ",", "")translate 関数は、第一引数の div を文字列に変換し、カンマを空の文字に置換します（つまり、カンマを削ります） 2. 演算する 1234567translate(//div[@class="hoge"], ",", "
XPathGraph とは http://xpath.kayac.com/ URL と XPath を指定すると一日に一回その URL をスクレイピングして XPath 式が示す値をグラフにしてくれる！という画期的なサービスです。 例えば、 URL と XPath を指定するだけで以下のようなグラフが作れてしまいます。 本当に楽しいことが出来そうでワクワクしてます！ でも まだ XPath を登録している人が意外と少ないので、「ひょっとして、このサービスの使いどころが分からないのかなあ。」と思いました。 というわけで XPath で出来ることのヒントを少し紹介したいと思います。 足し算、引き算、かけ算、割り算 XPath では普通に数値の演算ができます。 たとえば、 //div[@class=counter] で取得してきた div 要素が 1000 という数値を持っていたとすると 2 *
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
盗みを疑われたので「もし身体検査を行い出てこなかったら、１０万円貰う。人を疑うってのはそれだけリスクが伴うんだ！」
JavaScript-XPath とは JavaScript-XPath は、 DOM 3 XPath を実装していないブラウザに対して、実用的な速度で動作する DOM 3 XPath のエンジンを追加します。 一言で乱暴に言ってしまえば、どのブラウザでも document.evaluate って関数で XPath 使えるようになるよ！ってことです。 以下が公式サイトになります。 http://coderepos.org/share/wiki/JavaScript-XPath DOM 3 XPath ってなんなの！？ めっちゃ簡単（で、ちょっとだけ適当）なDOM 3 XPath の説明をします＞＜。 JavaScript でよく使う document.getElementById や document.getElementsByTagName って関数ありますよね？ DOM 3 XPath
Web::Scraper はいたれりつくせりの仕掛けが仕込んであって、便利ですね。私が、割と良く使っている機能は以下 2 つです。 process の第一引数に、CSS セレクタだけでなく、XPath も指定できます。ただし、XPath を指定するときは先頭を必ずスラッシュ(/)で始めなければいけません。 process の第二引数以降の、値をどこから取得するかを指定する部分に、コード・リファレンスを置くこともできます。これを使うと、DOM ツリー中の値を加工して抽出することができます。 具体例として、デイリーポータルZのアーカイブ一覧の中からべつやくれいさんのエントリを抽出してみることにします。まず、アーカイブ・ページのエントリ部分を取り出してやると、こうなっています。 <TD width="580" valign="top" class="tx12px"> <P> <B><FONT c
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
