こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
Keeping clients of OpenSearch and Elasticsearch compatible with open source | Amazon Web Services
AWS Open Source Blog Keeping clients of OpenSearch and Elasticsearch compatible with open source The OpenSearch project is a long-term investment in a secure, high-quality, Apache-2.0 licensed search and analytics suite with a rich roadmap of innovative functionality. OpenSearch aims to provide wire compatibility with open source distributions of Elasticsearch 7.10.2, the software from which it wa
初のフライト変更ということで、羽田空港で5時間の待ち時間ができたのでブログを書いているところです。 皆さんの使用方法などを知りたいと思い、日本語で書かれたツイートやブログを時々みていますが、 共通で見受けられるElasticsearchに関する誤解があるようです。 よりよくElasticsearchを利用していただくために、よく陥る誤解とどうすれば良いかというのを紹介しようと思います。 誤解：2台でHA構成 「1台では、マシントラブルなどがあった場合に、Elasticsearchが利用できなくなるという心配から、2台でElasticsearchのクラスターを構成すれば1台ダウンしてもサービスを維持できるだろう。」 残念ながら2台では完全なHA構成にはならないのがElasticsearchです。2台構成のクラスターは、データの欠損という障害に対しては有効です。 が、1台故障してもクラスターが
Search and analytics, data ingestion, and visualization – all at your fingertips.
ファッションを扱うサービスのために、Elasticsearchのユーザー辞書とシノニム辞書を作ったときの具体的な話
とはいっても直接MySQLのデータを全文検索を使うのではなく、MySQLのデータをElasticsearchにインポートしてElasticsearch側で全文検索します。CentOS7です。 最初に Elasticsearchは各種プラグインなどマイナーバージョンの組み合わせでもかなりシビアです。トラブル回避のためにも、すべてのバージョンは完全に合わせましょう。 この投稿も将来的に動かない可能性もあります。その際は、最新版のドキュメントを。私は適当にググってバージョン違いでハマったので…。 大きな流れ 準備 Elasticsearch 1.7.1 のインストール(2015/08/19 最新版) Elasticsearchのプラグインのインストールと設定 MariaDBでデータの準備 jdbc連携 MariaDBでのデータ変更 ※今回は、クラスタは組みません。全部1台でやります。 1. 準備
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
こんにちは、木戸です。 AWS の検索エンジンをベースとしたサービスには、Amazon Elasticsearch Service と Amazon CloudSearch の２つがあります。今回はこの二つのサービスについての用途の違いについてまとめたいと思います（機能比較ではないです）。サービスを選定する際の参考になれば幸いです。 ※ Elasticsearch Service は Kibaba も含め分析用途もありますが、今回は検索にフォーカスしてます。 それではさっそく、 CloudSearch も Elasticsearch も Lucene ベース CloudSearch は現在 Solr ベースとなっており、その検索エンジンのコアには Lucene を使用している。また、Elasticsearch も Lucene をバックエンドに使用しているため、ベースのテクノロジーとしては
※ この記事は Elastic stack (Elasticsearch) Advent Calendar 2017 の2日目の記事になります。 Elasticsearchを利用したサービスを運用している場合、既存機能の改修や仕様変更、新規機能の実装に伴い、運用中であってもindexや検索クエリを変更していくことは日々発生します。この際に、インデックスを再構築する必要性も出てきますが、インデックスを再構築し、そこに整合性のあるデータセットを準備するのには時間がかかります。その都度メンテナンスを行うのは非現実的であり、特に大規模サービスであれば準備にかかる時間自体も非現実的なものになりかねません。 このような問題への対処方法として、 Index Aliases を利用することで、透過的に無停止再構築を行うことが出来るというのは複数のブログ記事で紹介されています。これらはアプリケーションから直
Elasticsearchとはどんなものか？Elasticsearchへのデータ登録、検索の方法についてRESTfulなAPIで基本的な部分について説明します。KibanaのDev Toolsを用いてElasticsearchの操作を行います。 ElasticsearchとKibanaのインストール CRUDオペレーション(RESTful API) ドキュメントの検索 Analysis Mapping Aggregations Additional Resources Elasticsearchのドキュメントはこちら Elasticsearchをダウンロードする リリース記事はこちら Elasticsearchとはどんなものか？Elasticsearchへのデータ登録、検索の方法についてRESTfulなAPIで基本的な部分について説明します。KibanaのDev Toolsを用いてElas
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
こんにちは。ホリデー株式会社の内藤です。 ホリデー株式会社では Holiday（https://haveagood.holiday） という新規サービスの開発・運営を行っています。*1 以前投稿した記事でご紹介したように、Holiday では全文検索エンジンとして Elasticsearch を利用しています。 Ruby on Rails で構築されたアプリケーションから Elasticsearch を操作するには、公式 gem である elasticsearch-rails を使うのがとても便利です。 もちろん、Holiday でも活用させてもらっています。 大方の機能についてはこの gem で提供されるもので満足だったのですが、一点だけ、Holiday の運用をしている中で困ることがありました。 それが、サービス公開後のインデックスの再構築です。 elasticsearch-rails
ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（2）（1/3 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。今回は、テンプレートを利用したインデックス生成など、検索結果の品質を向上させるためのさまざまな取り組みを紹介する。 連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。初回の前回「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
