プロ野球が開幕しました。ヤクルトスワローズが延長戦で勝利するという奇跡を目の当たりにしたので昨日からずっとニヤついています。 今回はSolr4.1からSolr5にデータ移行をした際に自分が少しはまった点を参考として残しておきます。 pint,sintは使えない 古いバージョンとの互換性を保つために残っていたpint,sintがSolr5.0では使えなくなりました。schema.xmlにその型が残っている場合は削除し、代わりにTrieIntFiled（普通のintで問題無い）を使いましょう。double,float,long,dateも同様です。 enablePositionIncrementsは使えない schema.xmlでのフィルター定義の際に、今までなら <filter class="solr.KuromojiPartOfSpeechStopFilterFactory" tags="
Twitterログ保存サービス ツイセーブ にプロフィール変更履歴閲覧機能を追加しました。 その名の通りツイッターの説明欄の更新履歴を見れるだけではなく、名前や位置情報、URL、非公開設定、スクリーンネームの変更まで追跡できます。とはいっても基本的に１日１回しかユーザー情報を取得していませんので、１日に何度も変える場合は今のところ自動では対応していません。 そういえば http://t.co/AUL25McwrM このサイトスクリーンネームとか名前とかbioとかfollowing数とかの履歴全部保存するようにしたけど表示するやつ作ってない — 冒険行こうぜ (@9m) 2015, 2月 20 実は今年の２月から保存自体はしていたので、当時から登録済みのユーザー様に関しては半年分の変更履歴がすでにセットされている状態ですので、見てみると楽しいかもしれません。上のツイートにもあるとおり、fol
Search and analytics, data ingestion, and visualization – all at your fingertips.
Apache Solr 4.0 がリリースされた。 本記事では Solr 4.0 の新機能や改善された点のうち気になるものを紹介する。 概要 Solr 4.0 では、下記の変更が入る。 83 個の新機能 13 個の最適化 121 個のバグ改修 Solr 4.0 はメジャーバージョンアップにふさわしい、非常に強力なリリースとなる。 SolrCloud Solr 4.0 の数ある新機能のうちの目玉機能。 SolrCloud という名前から推測できるように、Solr の分散構成が行えるようになった。とはいうものの、Solr 3.6 以前でもレプリケーションは行えたのだが、Solr 4.0 は一味ちがう。 今までより断然賢くなった。シャーディングもクラスタリングも簡単な設定で行うことができる。インデクス書き込みも複数ノードから行える。そしてなにより自動フェイルオーバーができるようになった。 さらに
こんにちは、tahara です。 いこーよ に Apache Solr の全文検索を使う Sunspot を導入しました。 これとかこれで MySQL の全文検索を使っていましたが、Sunspot を試してみたら 速い ファセットがものすごく便利 Kuromoji という日本語形態素解析機が使える だったので、 Sunspot は Apache Solr を使う。 Apache Solr を Java を使う。 Java か。。。 というあたりの精神的障壁を克服し、がんばって乗り換えることにしました。 ちょうど Solr 4.0.0 がリリースされたので Solr 4.0.0 sunspot 2.0.0.pre.120925 sunspot_rails 2.0.0.pre.120925 を使うことにしました。 vi Gemfile gem "sunspot_rails", "~> 2.0.
Solrばりばり使ってます。大変便利です。 でもやっぱり日本語情報が少ない。というわけで実戦投入までに調べたことを公開メモ。バージョンは3.x系です。 前のメモはこれ。 Too many open filesエラーが出る このエラー出まくった。 ファイルを大量に開くようなので、ファイルディスクリプタ（システムが開けるファイル数）の上限を65536とかにしておく。 普通は /etc/security/limits.conf あたりで指定するみたいだけど、サービスとして起動させておくプログラムに対しては有効にならないっぽい。 詳しくは下記記事参照。 ■ファイルディスクリプタ数の上限変更とlimits.confの罠 http://yumewaza.yumemi.co.jp/2010/07/limitsconf.html というわけで、/etc/security/limits.conf は使わず、
一定期間更新がないため広告を表示しています
日本語の文章に対して全文検索用のインデックスを作成する方法としては、形態素解析により分解した単語をインデックスする方法や、N-Gram によってインデックスを作成する方法などがあります。形態素解析はインデックスが小さく検索が早いこと、N-Gram は業界用語などの特定ドメインの言葉や日本語以外にも対応できて部分一致検索が可能であることなど、双方に利点があります。 今回は Solr を使用した N-Gram 系トークナイザーについて記述します。 N-Gram 検索を行うには Solr コアの schema.xml を開いてフィールド型を定義します。 <fieldtype name="text" class="solr.textField" positionIncrementGap="100"> <analyzer> <tokenizer class="solr.CJKTokenizerFac
As I keep finding in Rails 3, the Gems I used in Rails 2 no longer work or have fallen out of favor. In Rails 2 acts_as_ferret met my searching needs but after submitting some fixes for Rails 3 and Ruby 1.9.2, I was still having issues so I moved on to Sunspot. One of the 1st things I wanted to change with Sunspot was to make the default boolean operator OR. This means when someone searches fo
なんで、Solr の GETパラメータを日本語で解説しているサイトがないのか！？ 速度の比較記事やインストールしたがうまくいかないとか、そんなばっかです。 Solr Wikiは簡単な英語で書かれているのでわかる事はわかるんだけどね。 「何が出来ないのか」ってのがよくわからんかったよ。 とりあえず、よく使うであろうパラメータを箇条書き 1.問合せURL http://192.168.1.1:8983/solr/select/?検索パラメータを繋げる ２.問合せパラメータ 「q=条件」は必須です。 問合せはクエリー「q=検索条件」で行う方法と、フィルタ「fq=検索条件」で行う方法があります。 フィルタの方が検索スピードは速くなります。 XX_IDといったキー項目だけではなく、単価などで範囲を指定する事もできます。 例１.なんたらIDで検索を行なう場合 foo_id:1001 例２.単価を範囲指
はじめまして。 プロダクト&サービス事業部 リーダーの久保です。 今日は、当社で利用しているOSSの全文検索アプリケーションであるApache Solrについてご紹介したいと思います。 GoogleでSolrを検索しても、日本語圏のコンテンツはまだまだ少ないようです。 当社がSolrを使い始めた昨年は現在よりもさらに少なく、結構苦労しました。 今回はやや雑多な内容となりますが、新しくSolrを使う際に必要と考えられる情報をまとめてみました。 本エントリーでは、Solr1.3を対象としています。 Solr1.3が現在の安定版で、Solr1.4-devが開発版となります。 目次 Solrとは 機能一覧 実績/事例 Solrを使ったシステムの開発方法 おすすめする方 データ量/性能とハードウェア マルチコア構成 様々な検索 スケールアウト 検索と更新 Solrを始めるための情報リスト 全
何はともあれ動かしてみないとどんなものかわかりません。 JavaとTomcatのインストール すでにやってあるものとします。 JavaはどこでもいいのでPATH通しておいてください。 Tomcatは/usr/local/apache-tomcat-5.5にインストールしたものとします。 solrの初期設定 solrはJavaで書かれてるので、JettyやらTomcatの上で動きます。 アーカイブは適当にftpサイトから持ってくる 超参考サイト 超参考サイト 配備 ~/apache-solr-1.3.0/dist/apache-solr-1.3.0.warを、solr.warとしてTOMCAT_HOME/webappsに配置。 TOMCAT_HOME/conf/Catalina/localhost/solr.xmlを作成 <Context docBase="solr" debug="0" c
Apache Solrというのは、Javaベースの検索エンジンシステムです。 「ソーラ」と呼ぶそうです。どうしても覚えられません。 Solr - Wikipedia 実はモバツイッターにも、秘かにツイッターのログ検索なる機能が追加してありまして、モバツイのエゴサーチなどをして、不具合がないかを調べていたりします。 検索エンジンはmysql + sennaを使っているのですが、自分のマシンのスペックよりも、データ量が増えてしまった状態らしく、ヒット数が多い「tinyurl」などの文字列で検索すると、めっさ遅いという状態になってしまいました。 おそらくmysqlの設定などはまだまだ余地があるんでしょう、と、いろいろ工夫しようとしたのですが、どうせならsenna以外も使えるようになりたいなぁと思って、こちらのtwitter検索で使われているSolrってのがあるというお話を聞いたので、Java久々
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
