ヤフー株式会社より出向しております、卯田と申します。 主務で、一休.comおよびYahoo!トラベルのフロントエンド開発を担当しています。 兼務で、ヤフー株式会社の全社横断組織でWebパフォーマンス改善の推進を行っております。 本稿では、直近半年弱(2023年2月〜8月)で、断続的に行っていた一休.comのパフォーマンス改善について振り返ります。 開始が2023年2月となった理由は、Nuxt3バージョンアップ以降にパフォーマンス改善活動に着手したためです。 一休.com/Yahoo!トラベルのNuxt3バージョンアップ詳細については、以下のブログをご覧ください。 user-first.ikyu.co.jp サイトパフォーマンス改善の意義 改善の方針 方針1: Core Web Vitalsを改善する 方針2: 重要課題から優先的に対応する 改善の進め方 可視化 ブラウザサイド サーバーサイ
2021年度リクルート エンジニアコース新人研修の講義資料です
TL;DR Sudachi同義語辞書を「Solr Synonyms形式」に変換して使う あくまで暫定的な使い方: 本来は形態素解析結果を元に厳密に展開されるべき ちゃんとしたフィルタープラグインは、徳島のSudachi公式がもうすぐ公開してくれるはず Sudachi同義語辞書とは ワークス徳島NLPが開発する、専門家の手による大規模で高品質な辞書 Apache2.0ライセンス、商用利用可 詳細は公式ドキュメントを参照のこと 同義語が単に羅列されているわけではなく、詳細化した同義関係が付与されています。 そして、この言語資源は定期的に専門家によりメンテナンス、更新されています。例えば、以下のような語も2020年7月のアップデートなどで追加されています; ... 023538,1,0,1,0,0,0,(医療),新型コロナウイルス感染症,, 023538,1,0,1,2,0,0,(医療),COV
Amazonがeコマース検索を Lucene により、どうスケールさせているか at Berlin Buzzwords 2019 2021-11-26 情報検索・検索技術 Advent Calendar 2021 1 日目の記事です。 早めに書き終えたので、カレンダー登録日の 2021/12/01 よりもはやめですが、記事を公開してしまいます。 Berlin Buzzwords はドイツで毎年開催されている OSS を利用した検索、データ処理、データベースに焦点をあてたカンファレンスです。 検索関係のシステムに携わっている場合、毎年面白い内容が目白押しなのでぜひとも見てほしい。 今回は Berlin Buzzwords 2019 で発表された「Amazon では Lucene をどう活用して e コマース検索をスケールさせているか」の講演動画を社内勉強会で紹介するために視聴したので、そのメ
こんにちは。主にBUYMAの検索周りを担当しているエンジニアの伊藤です。 BUYMAではSolrを利用した検索システムがいくつかあります。 BUYMAの検索というと検索ボリュームが一番大きな商品検索を想像されると思いますが、 今回はデータボリュームが一番大きい検索システムをターゲットとして、インフラ周りを含め全面的にシステムの刷新を行いました。 ここでは、 既存の検索システムがどういったものだったのか なぜシステム更改が必要だったのか(どういう課題があったのか) 更改後の検索システムはどういったものか 今後の課題について 等々についてご紹介したいと思います。 既存の検索システムについて 既存の検索システムは下記の通り、シンプルという点ではとても素晴らしいものでした。 ただし下記のような問題を抱えている状況でした。 スケールアウトしない構成である スケールアップの限界 Solrのバージョンが
三年ほど前、Solr のパフォーマンスチューニングの記事を書いた。 aoking.hatenablog.jp これは古くなっており、現在の Solr では通用しない部分が多い。 改めて、現在の Solr のパフォーマンスチューニングに対する知見をここに記す。 はじめに 僕は日々 Solr のお世話をせっせとしており、今では扱っているインデクスのサイズが数テラバイト程度になっている。性能問題にぶつかることも何度もあり、そのたびに Solr のパラメーターのチューニングを行ってきており、時には自社向けのパッチを当てて高速化したり省メモリ化することもあった。僕の知見はきっと Solr ユーザーの皆様に役立つものでしょう。 さて、Solr のチューニングをしたい人は下記の公式 Wiki を穴が空くほど読むべし。 SolrPerformanceProblems - Solr Wiki 結論から言えば
GCP上で検索エンジンを動かしたくなることは割とある思いますが、小規模な検索サーバを極力メンテフリーでGCP上で動すための方法を模索・稼働することになったのでメモ代わりに。 はじめに 検索が必要とされるプロジェクトであっても、検索対象となるコンテンツは割と小規模(10万程度)で、検索インデックスの更新頻度も日次で十分という、ライトな条件であることも案外多いのではないかと思います。そこで以下条件を踏まえてGCP上で検索サーバを動かす方法をいろいろ考えた結果、GKEで検索サーバを立てて動かすことにしました。 検索条件 検索対象のコンテンツはDatastore(やBigQuery)に入っている いろいろなフィールドに対して込み入った論理式で条件絞り込みを行いたい(位置条件含む) 表記揺れ・記入ミスが多少あってもうまく文書を引っ張りたい 用途に応じてランキングをカスタマイズしたい 検索インデックス
この記事は一休.comアドベントカレンダー2017の22日目です。 いよいよ今年も終わりですね。 みなさん クリスマスの、忘年会のご予約はすみましたか？ というわけでアドベントカレンダー2打席目、一休.comレストラン 検索 & 集客担当のにがうりです。 一休の本社は赤坂見附の駅からほど近くにあり、お昼ごはんの選択肢が非常にバラエティに富んでいるのが嬉しいところです。 もちろん、その中には一休.comレストランにご加入いただいている店舗様もたくさんあります。 本エントリでは 筆者のお昼休み中に通える範囲内にあり 一休.comレストランでランチが予約できる レストランがどのくらいあるのか、Solrの空間検索( Spatial Search )を利用して調べてみました。 なお、前回のエントリ同様、Solrのバージョンは7.1.0を前提としています。 事前準備 Solrのスキーマ構成 ひとまず、
I have solr setup, which is configured for Master and slave. The indexing is happening in master and slave is replicating the index at every 2 Min interval from master. So there is a delay of 2 Minutes in getting data from master to slave. Lets assume that my master was indexing at 10:42 some data but due to some hardware issue, master went down at 10:43. So now the data which was indexing at 10:4
Solr is the popular, blazing fast open source enterprise search platform from the Apache Lucene project. Its major features include powerful full-text search, hit highlighting, faceted search, near real-time indexing, dynamic clustering, database integration, rich document (e.g., Word, PDF) handling, and geospatial search. Solr is highly reliable, scalable and fault tolerant, providing distributed
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 2017年6月5日にYahoo! JAPANのオフィスでLucene/Solr勉強会が開催されます。（パチパチ) 「記念に何か書こう、とにかく書こう、なんかこう面白いやつ、いいから書こうぜ。俺たちよ。」という上司の笑顔に勇気をもらって書きます。(๑•̀д•́๑) 要約 Solr CloudにPrometheusを導入してシステム指標を収集した事例の紹介 背景 Yahoo! JAPANでは、Solr Cloudを利用した検索の共通基盤のABYSS2（第2世代）を社内に提供しています。2017年5月時点で、100以上のサービスに利用され、サーバー数は3000近くで、仮想サーバーや、必要に応じてベアメタルサーバーを利用して運用しています
概要 Apache Solr(以下、Solr)で商品検索のサジェスターを作ったので、それを紹介します。 サジェスターを作るにあたり、どのようにスキーマやサーチコンポーネントを定義すれば良いのかを説明します。 なお、この記事はsolr 4.10.4を対象にした記事です。 それ以外のバージョンでは設定項目が変わってくる場合があります。 サジェスターとは サジェスターとは、ユーザーが検索用のフォームに単語を入力している途中に、その入力途中の単語を補完する機能です。 例えば、Google検索でサジェスターについて調べようとした時に、「さじぇ」と入力した時点で以下のように「さじぇ」に続く単語が候補として現れます。 このような機能を実装することによって、ユーザーがテキストを入力する手間が省けたり、入力間違いをした単語で検索をしてしまうことを防げたりする効果があります。 日本語のサジェスターの難しいとこ
The PutSolrContentStream processor in Apache NiFi makes use of Solr's ContentStreamUpdateRequest which means it can stream arbitrary data to Solr. Typically this processor is used to insert JSON documents, but it can be used to stream any kind of data. The following tutorial shows how to use NiFi to stream data to Solr's Extracting Request Handler. Setup SolrDownload the latest version of Solr (6.
オープンソースの非営利団体Apache Software Foundation（ASF）は4月8日、全文検索ライブラリ「Apache Lucene 6.0.0」およびLuceneベースの検索プラットフォーム「Apache Solr 6.0.0」をリリースした。 Apache LuceneはJavaで実装されたテキスト全文検索ライブラリ。分野を問わず、全文検索を必要とするほぼすべてのアプリケーションに利用できるとしている。また、SolrはLuceneを使って構築された検索プラットフォーム。 Lucene 6では、Java 8が最小要件となった。また、新たに二次元/三次元などの多次元データがインデックスやドキュメント、コーデックAPIでサポートされるようになった。kd木ベースのデータ構造を使って処理を行うもので、これにあわせてIntFieldやLongFieldといった数値型フィールドタイプは
全文検索システムの比較 - Elasticsearch vs Solr vs Amazon CloudSearch February 10, 2014 at 01:05 AM | categories: solr, aws, elasticsearch, web | 候補の選定方法 候補を選定するにあたって、以下の特徴をもっていることを前提とした。 LuceneやGroongaを使えば何でもできるが、ここでは対象としない。 ウェブベースのインターフェースを持つ インデックスの更新はほぼリアルタイムに反映される スケールアウトが容易 Solr https://lucene.apache.org/solr/ Luceneをバックエンドにした全文検索システム。バージョン4になってから大幅に機能が増強された。 長所 実績が十分ある 機能豊富 短所 クラスタを構築して運用するには手間がかかりそう S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
