こんにちは。ソウゾウのSoftware Engineer(CTO)の@suguruです。連載：メルカリShops 開発の裏側 Vol.2の1日目を担当させていただきます。 去年、2021年に開始した メルカリShopsの技術スタック についての記事を書きましたが、今回はリリースまでに採用した技術スタックが、半年通してどのようにアップデートしてきたかを共有したいと思います。 ローンチ時に採用した技術が、実際の運用でどのように変遷したのかを共有することで、技術スタックを考える際の何らかの参考になれば幸いです。 monorepo メルカリShops ではサービスに必要なコードを1つに集約する monorepo を採用しています。リリース後半年たってコード量はかなり増えてきましたが、monorepo に対する満足度は非常に高く、うまく機能しています。 サービス全体の見通しが良くなることと、すべての
こんにちは。Merpay Advent Calendar 2019 の24日目は、メルペイ Machine Learning チームの @yuhi が機械学習における解釈性についてお送りします。 目次 機械学習における解釈性とは なぜ解釈性が必要なのか 1. サービスを提供する事業者としての説明責任 2. 推論結果に対する社内外の関係者の理解 3. モデルのデバッグ、精度改善 どのようなアプローチがあるのか SHAPについて サマリ 基本的なアイディア 問題設定 説明可能モデルに対して満たしてほしい性質 説明可能モデルを求める SHAPの実装について 最後に References 機械学習における解釈性とは 深層学習をはじめとする機械学習分野の発展に伴って、これまでにないユニークなサービスが開発され、また多くの業界において業務が効率化、高度化されつつあります。メルペイでも機械学習を用いて、
以下の図が、構築したナレッジグラフの一部分を図示したものと、その中から上の表に対応する部分を拡大したものです。 ナレッジグラフの属性ノードの情報を活用することで、お客さまが以前に購入した本と同じ著者の本を推薦するといった、商品情報をもとにした推薦が可能になります。 モデルについて 知識グラフを使った推薦は HeteRec [Yu et al., 2014] をはじめ、数年前から盛んに研究されています。今回はそのなかでも解釈性が高く、大きなデータにもスケールする KGCN [Wang et al., 2019] をもとにモデルを作りました。KGCN はグラフニューラルネットワークをもとにしたモデルです。技術的な詳細については英語版の記事を参照してください。 実験 以下の 3 つのタスクをメルカリの本のデータを使って実験することで、ナレッジグラフを使った推薦の有効性を確認しました。 商品推薦
ユーザー間の取引がサービスの大きな要であるメルカリ。当然、不正取引は悩みの種だ。 そのメルカリは2019年5月、増田直紀上級講師（英ブリストル大学）、小舘俊（東北大学）と共同で、機械学習と「ネットワーク解析」と呼ばれるデータ解析方法を用いて不正取引を検出する研究成果をネットワーク科学の主要な国際会議である「NetSci 2019」で発表した。 ネットワーク科学とは ユーザとユーザの取引関係はネットワークとして表すことができます。同様に、他の人間関係、経済現象、インターネット、交通網、生態系、遺伝子と遺伝子の関係など、様々な現象やデータはネットワークという共通言語で表すことができます。ネットワーク科学は、「つながりの科学」であり、ネットワークとして表されるデータから有用な情報を引き出したり、社会や科学などにその知見を応用することを目指す研究分野です。 「ネットワーク解析」を用いて不正取引を検
メルカリWeb版のUIテスト自動化で目指している世界と、そのために作った Selenium Grid・Zalenium 環境 on Azure Kubernetes Service(AKS) メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）の 根本 征 です。 私は普段、テスト自動化・CI / CD 改善・その他社内の生産性を上げるための自動化を行っています。 今回は、最近私たちが行なっているメルカリWeb版のUIテスト自動化と、その自動テスト環境についてご紹介したいと思います。 メルカリWeb版のUIテスト自動化について UI自動テスト環境に関する課題 Selenium Grid を Azure Kubernetes Service(AKS) 上で構築する Zaleniumを試す Azure Kubernetes Service(AKS)で受け
こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指します。この反対の言葉として、オンライン処理があります。オンライン処理とは、お客様の操作を初めとしたイベントをもとに 逐次処理 されるものです。OLTP(Online Transaction Processing)とも言います。 本エントリでは、バッチ処理を採用するにあたり、どういったユースケースが適切なのかを整理して、今後のソフトウェアの設計の指針にできることを目指しています。今回は、「バッチ処理を採用するとき」と「バッチ処理の設計」の2つについて取り上げます。 バッチ処理を採用する
テックカンパニーを目指すメルカリ。エンジニア組織の変遷と挑戦「Mercari Tech Conf 2018」レポ 2017年からスタートしたメルカリが主催する「Mercari Tech Conf（MTC）」。「Mercari Tech Conf」とは、メルカリをはじめとするメルカリグループ各社が、これから目指す方向や取り組む技術的なチャレンジについて紹介する技術カンファレンスです。 第2回目となる今回は「Evolution（変化）」をテーマにこの1年間でメルカリグループ内に起こった、もしくは起こりつつある変化が紹介されました。 オープニングトークで「良いテクノロジーを使って、これからは誰もできなかったことをできるようにしていきたい」と語った、メルカリ取締役CPO（チーフ・プロダクト・オフィサー）の濱田 優貴。テックカンパニーを目指すメルカリはどんな変化を遂げようとしているのか。 そして「テ
メルカリ機械学習エンジニアの @hurutoriya です。 2018/09/01 に開催された GDG Dev Fest 2018 で Kubeflow について登壇してきました。 ML Sessions | GDG DevFest 2018 Tokyo 発表資料 www.slideshare.net Kubeflowについての基礎的な説明は発表資料で行っているので、ぜひご覧ください。 発表内容は、機械学習をサービスとして提供する際にいろんな壁が存在していますが、その壁をぶっ壊すのが Kubeflow だ! という流れで発表をしてきました。 僕自身が機械学習エンジニアということもあり、k8sを知り尽くしているわけではなく、あくまで機械学習エンジニアとして Kubeflowの所感を共有させていただきました。 僕自身がKubeflowに興味をもった背景としては、メルカリでは機械学習基盤の開発
こんにちは、機械学習エンジニアの @hurutoriyaです。 2018/05/23 にMercari ML Ops Night Vol.1というイベントを開催しました。 Mercari ML Ops Night Vol.1 – connpass 機械学習アルゴリズムそのものではなく、 システム構成や、モデルのデプロイ、データの収集など、 機械学習をプロダクションで運用するにあたって直面する課題やその解決方法などを、 ざっくばらんにお話できればと思います。 当イベントページは公開1時間で100人の定員枠が埋まり、最終的に申込者が296人!! に到達し、プロダクション環境での機械学習の運用に対する注目の高まりを感じ取ることができました。 プロダクション運用への壁 最近では国内でもMLSEやML Ops Studyなど機械学習のモデリング以外の部分に注目したイベントが開催されています。 ML
社内の面倒な手作業はZapierにやらせようーーノンプログラマーでも業務自動化ができるツールを導入してみて QA Author: tadashi-nemoto0713 これは Mercari Advent Calendar 2017 22日目の記事です。 こんにちは、メルカリのQA-SETチームで自動化をぶりぶりしている tadashi0713 です。 前回は業務自動化の1つとして、Seleniumを使ったブラウザ操作自動化についてご紹介しました。 tech.mercari.com コメントや反応を見ますと、最近はRPA(Robotic Process Automation)をはじめとした業務自動化に関心が高い印象を受けました。 メルカリでは1ヶ月ほど前にZapierというツールをTeam Planで導入しました。 zapier.com このツールを使って、社員がより簡単に業務自動化ができ
Mercari Advent Calendar 2017 13日目は フロントエンドチームの @sottar が web アプリの開発（特にモバイル開発）で役立つ Chrome DevTools の便利な機能を紹介します。 はじめに メルカリでは PC からのアクセスよりもモバイルからのアクセスが多いため、web アプリもモバイルからのアクセスを意識したコードを書く必要があります。 しかしモバイル向けのコードを書く際に、毎回実機を接続して確認するのは面倒です。そこで最近のブラウザに付属している開発者ツールにはモバイル向けのコンテンツの開発に役立つ機能が搭載されているため、その機能を使いこなすことでモバイル向けの開発をしつつ、開発のスピードを上げる事が可能です。 そこで本日は Chrome DevTools 内にある、特にモバイルデバイス向けのコンテンツ開発に役立つ機能を紹介します。 Dev
DatastoreについてみなさまGCPをお使いになっているでしょうか。 GCPにはバックエンドのDBとしてCloudSQLというRDBと、NoSQLであるDatastoreというのがあります。 周囲の事例を聞く限りは、マスターデータなど変化が少なかったり、seedデータ的なものを用意しなければならないものをのぞいて、基本的にDatastoreを利用している印象です。 また、GAEで開発する場合はinternalなAPIからDatastoreを利用できる一方、GKEなどからは、GCPの外部向けAPIを呼び出すことでデータを送受信します。 さて、自分はいつもGoでAPIを書くのがいいよ！と触れ回ってるわけですが、GCP上で開発を進める際には前述の通りDBにはDatastoreを使っています。 このDatastoreですが、そのまま使うと自前でキーを発行する必要があったり、値をキャッシュしたり
はじめまして！QAエンジニアのkinoshです。 みなさんは「自動化」と聞いて、どんな期待をしますか？ 生産性アップ？高い品質？スピード？いろいろな期待があると思います。 現在メルカリQAでは、繰り返し行われる部分や、機械のほうが得意な部分をどんどん自動化して、節約できた時間を、人間しか見つけられない作業(不具合を探索したり、仕様からリスクを洗い出したり)に使っていこうと日々奮闘中です。 この記事では、最近私が主導で進めたテスト自動化について、自身が学んだ知見などを共有いたします。 進んでいた自動化 メルカリにはQA-SETチームというものがあり、QAエンジニアとSET(Software Engineer in Test)が同じチームで品質を支えています。それぞれの役割については以下の記事をご確認ください。 tech.mercari.com リグレッションテストに関しては、全体の件数の約3
こんにちは。メルカリでQA-SETチームのマネージャ兼自動化エンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 先日開催された Mercari Tech Conf 2017 において、自動テストのデモ展示を担当させていただきました。当日は多くの方にお越しいただき、スマホアプリの自動化への関心は大きいのかなぁと感じております。 この記事では、テスト自動化についてよく質問されたことをまとめてみたいと思います。どの現場も同じように悩んでおり、試行錯誤している点も似ていたので、ノウハウとして残れば幸いです。 Q. どんな技術をつかってアプリの自動化をしているのですか？ A: AndroidはAppium（Ruby) を使っています。 Gemが豊富なので以下のようなGemを使って実装を効率化しています。 # Gemfile sample gem 'appiu
本日コーポレートサイトでお知らせした通り、Web版のメルカリにおいて一部のお客さまの個人情報が他者から閲覧できる状態になっていたことが判明しました。原因はすでに判明して修正が完了しております。また、個人情報を閲覧された可能性のあるお客さまには、メルカリ事務局より、メルカリ内の個別メッセージにてご連絡させていただきました。 お客さまの大切な個人情報をお預かりしているにも関わらず、このような事態に至り、深くお詫びを申し上げます。 本エントリでは技術的観点から詳細をお伝えさせていただきます。 2017年6月27日 CDNのキャッシュの動作について、CDNプロバイダと仕様について確認し検証を行いました。その結果一部記述に実際と異なる箇所があり、加筆修正いたしました。 概要 メルカリWeb版のコンテンツキャッシュをしているCDNのプロバイダ切り替えを行いました。 その際本来キャッシュされるべきでない
※各プロダクト名の頭の”Google”は省略しています ※もちろん実際にはGoogle社のツール以外にも様々な分析用プロダクトが使われています 各ツールの詳細についてはWeb上の良質な情報がたくさんあるので、説明はそちらに譲るとして、ここではそれぞれの簡単な特徴とメルカリでの活用の仕方について主に述べていきます。 ◆ 1.BigQuery “弊社分析の中核的存在” 利用シーン： データの集計 どんなツールか Google BigQuery SQLの超速いやつ どんな大きなデータでも、複雑なクエリでも、高速で結果を返してくれる頼れるアニキ メルカリの分析での使い方 速いは正義 メルカリは多くのユーザを抱えているため、そのログデータも非常に巨大です。 そのため、通常のSQLでは計算に時間がかかりすぎるということが多々発生します。 BigQueryは とにかく「高速」の一言。なのでトライアンドエ
Mercari Android チームの @tsuyogoro です。US 版 Mercari Android アプリの開発を担当しています。 今年 1 月に弊社で開催した Mercari Day 2017 において、我々 Android チームは 「High 意識 Android」というお話をしました。 これから数回に分け “High 意識な開発” の実例を紹介していこうと思います。 本シリーズ第一回目では、”ベースにしている考え方” と “東京とサンフランシスコで one source 開発を行った話” を紹介します。 公安 9 課モデル 我々の間には、チームプレーなどという都合のよい言い訳は存在せん。 有るとすればスタンドプレーから生じる、チームワークだけだ。 荒巻大輔, 2002 我々は自分たちのチームワークを “公安 9 課モデル” と名付けており、”各メンバーが最高のスタンドプ
iOS チームの @jarinosuke です。 2017年1月20日に Mercari Day 2017 というイベントを開催しました。 当日はあまり天気も良くない中、とてもたくさんの方々に足を運んで頂き大盛況の中イベントを終えることができました。 ご参加いただいた皆様、ありがとうございました！ この記事では、そのイベント内で行われた全ての技術系の発表資料をまとめて紹介させていただきます。 スライド一覧 以下、登壇者スライドの一覧になります。 Mercari – Moving Beyond Borders 柄沢 聡太郎 This is mercari, This is an SRE. 佐々木 健一 品質向上の取り組み 鈴木 祥真 グローバル展開を支える量子的なサービス設計 中野 拓 アプリファーストの影で頑張るWebの話 坂本 結衣 メルカリiOSアプリ開発の現状とこれから 石川 直樹
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
