Welcome to A/B Testing at Scale Tutorial Tutorial by: Pavel Dmitriev, Somit Gupta, Ron Kohavi, Alex Deng, Paul Raff, Lukas Vermeer Given at SIGIR 2017 and KDD 2017. Tutorial Outline Introduction to A/B testing (slides, video) What is A/B testing Brief history Why use A/B testing Examples Cultural Challenges Design of Experiments: Statistical Foundations (slides, video) Null-hypothesis testing, con
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら 汎用人型雑用AIの stakaya です。 たまたま数年前に社内のBLOGに書いたABテストのロジックのまとめ＆比較記事を発掘したので、 このまま眠らせているのはもったいないぞと、 圧倒的もったいない精神を発揮し、シェアさせていただきます。 あの頃は私も若かった。 社内では”堅物・真面目・一途”で有名なものでして、下記文章がお硬いのはご勘弁ください。 はじめに 本記事は、施策の評価手法としてしばしば用いられるA/Bテスト（A/B testing)について、できる限り背後にある仮定を明記した上で、まとめたものである。 A/Bテストとは、主にインターネットマーケティングにおける施策の良否を判断するために、2つの施策（通常、A・Bと記載）を比較す
June 16, 201415:28 カテゴリサービス作りの話 A/Bテストで出来ること、出来ないこと A/Bテストに頼るべきでない判断に、次の二つがあると思う: 「正しさ」に基づく判断 長期的な判断 ■サービスの思想的に、設計的に、あるいは倫理や法律的に正しいかどうか、についてはカバーしてくれない。 例えばパスワードが簡単すぎたら警告を出す会員登録フォームと、文句言わずに受け付ける登録フォームとを比べたら、たぶん後者の方が登録率はよくなるわけですよ。あるいは、でかい広告と小さい広告を比べたら、クリック率は単純に面積に比例して大きくなる。 A/Bテストは、人間の本能的な、あるいはとても正直な反応をさらけだす仕組みだ。しかし人間の反射的な行動って、利己的だったり、後で大きな間違いにつながったりもしがち。人間が、深い考え無しに行動することで起こしがちな間違いは、そのままA/Bテストが起こしがち
Google アナリティクス ウェブテストの基盤を成す統計手法について説明します。Google アナリティクスでは、ウェブテストの手法として多腕バンディット方式を採用しています。多腕バンディット テストには、次のような特徴があります。 最も利益の大きい選択肢の特定を目標とする ランダム分布がテストの進行とともに更新される 「多腕バンディット（multi-armed bandit）」という名前は、それぞれに異なる見込み配当率が設定された、「One-armed bandit（片腕の盗賊）」というスロット マシンが複数並んでいる状況を模した仮説テストという意味を持っています。スロット マシンのプレイヤーは、最も見込み配当率が高いスロット マシンを見つけ出す必要がある一方で、利益を最大化する必要もあります。この状況では、これまでの配当率が最も優れているマシンのみをプレイするか、それともさらに配当率
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? オバマ大統領の再選に大きく寄与したことで大きな注目を集めているA/Bテスト。A/Bテストを導入した、することを検討している、という開発現場も多いのではないだろうか。 そんな中、Web上で次のような議論を見つけた。 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is not “better” than A/B testing 一言でまとめると「A/Bテストよりバンディットアルゴリズムの方がすごいよ」「いやいやA
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
