最近は、機械学習や統計学の多少ニッチな内容でしたが、今回はインターネット広告の現場で働く営業・コンサルの方々や広告主の方々に読んでいただきたい内容です。問題提起含め書かせていただきます。
インターネット広告業界では、広告配信における運用データが日々取得できます。そのため、高速PDCAが回せるというメリットとともに、日々の広告効果に一喜一憂してしまうデメリットがあります。
先日、弊社営業の方から以下のような相談をされました。
「直近1週間の効果が少しでも悪くなると、広告主の方に対してその原因を考察して、施策を提案しなければいけない。」
「今週は偶然にCVが取れないだけかもしれないので、偶然に追従して施策（例えば広告出稿の制限を）することで、機会損失を起こしているのではないか心配です。」
私もこの認識を共有しているので、広告主と運用者双方にメリットとなるような運用の考え方を提案できればと思います。
そこで、今回は、日々の広告効果に一喜一憂しないための、統計学的な考え方を紹介します。
今回のキーポイントは星の王子様的な感じです。
目に見える実力＝真の実力＋誤差
初めに野球の例を考えてみます。
1. イチローの打率
※数値は適当ですので、考え方の紹介と捉えてください。
イチローは長期的には3割3分位の打率を残しています。
つまり、
真の実力＝3割3分
しかし、1シーズン、または月ごと、週ごとで見ると打率にばらつきがあります。図示すると以下のような感じです。
この分布の見方は次の通り
・イチローは平均的に3割3分の期間が多い。
・調子の良い時上位5％では打率4割を超える。
・調子の悪い時下位5％では打率2割6分になる。
なお、ある打率の区間の面積が、ある期間でのイチローがその打率を打つ確率を表しています。よって、山の面積を合計すると1（=100％）になっています。
この時、イチローがある週だけ、打率が悪く2割6分だったとします。この時、監督がイチローを先発から外すことや、またはフォームの改造を強制することは適正な判断と言えるでしょうか？
例えば、何週間も続けて、打率が2割6分を下回るならば、めったに起きない事が頻発しているわけですから、偶然とは言えないので対応が必要です。
しかし、1週間程度であれば、それは偶然の産物ですから、見守ることが適正な判断と言えるのではないでしょうか。
この感覚に違和感がなければ、次の説明も同様に違和感はないと思います。
2. インターネット広告運用
インターネット広告の場合も同じです。
例えば、広告経由のCV数（コンバージョン数＝企業サイトなどでの購入数）も週別で見ると、たくさん取れる日、取れない日があります。図示すると以下のように分布します。
少し詳しく、説明すると、CV数の平均的なばらつきは、標準偏差と呼ばれて、分布の広がりを表します。
数式では、以下のように与えられます。
標準偏差（二項分布の標準偏差）
※CVRはコンバージョン率で、CV数÷クリック数
つまり、CV数は、平均値から標準偏差分くらいは、ばらつくということです。より正確には、以下の式であらわされます。
CV数の上限・下限
上位5％・下位5％を指定するために、平均から標準偏差いくつ分だけ離れているかを指定する数値が、tという数値です。t値を呼ばれています。
要するに、このくらいであれば、偶然ばらつくよ、ということです。
ちなみに、上位5％・下位5％を指定する場合は、クリック数1000の場合で、t=1.65くらいです。
このCV上限下限内にCV数が入っているのであれば、偶然のばらつきとみなしてよく、より詳細には、上位下位5％を超える異常ではないと判断できます。この場合、例えCVがばらついたとしても、イチローの打率の場合と同じで、あたふたする必要はありません。
具体的な数値で見てみると、平均CV率（CVR）0.5％、クリックが1000回の場合を考えます。この時、平均CV数は5です。CV上限・下限は上記式に入れて計算すると、それぞれ8.7、1.3となります。
さて、CV数が3の場合、1の場合、10の場合は、それぞれ異常な値と言えるでしょうか？答えは以下の通りです。
3の場合：正常（異常とは言えない）
1の場合：下に異常
10の場合:上に異常
この場合、3の場合は、誤差の範囲内ですので、特に施策を打つ必要はないと判断できます。1、10の場合はそれぞれ異常です。
現在、ネット広告業界は統計学的な考え方が徹底されていない場合がありますので、3の場合にも不要な考察や施策で、工数が取られることがあります。それが、冒頭で紹介した営業の言葉になります。
3. まとめ
広告代理店は、広告主の方が長期的に市場で勝つために、広告の企画・出稿・運用という形でパートナーシップを結ばせていただいています。
この時、広告主、代理店共に、統計学的な考え方と身に着けて、日々の広告効果に一喜一憂することなく、長期的視点で広告を出稿する事が大切と考えています。
弊社でも、このあたりの教育を、（この内容でいうと統計学的検定などの教育）、を徹底しており、広告主の方の長期的な成長をお手伝いできればと考えています。
以上、綺麗事でしたが、実際には、以前別の弊社営業の方は、同様な課題に対して以下のように回答していました。
「偶然CV取れないだけだとしても、広告主の方と対面している以上、施策を打たないことなどできない。」
これは難しい問題ですが、データ分析をやらせていただいている立場から言うと、例えば、
「今回CVが取れていない事象に対して、それが偶然起きる確率を定量化する。そして、取り立てて異常ではない場合は、一喜一憂しないように広告主の方に誠意をもって説明する事が大切と考えています。」
繰り返しになりますが、偶然に追従したのでは、長期的には勝つことできません。異常でない現状を変えて機会損失するリスクについても考慮する事が必要です。さらに、偶然に対する考察にリソースを割くことにより、広告代理店は広告主に対して、より良い提案ができない場合もあると思います。
広告主含めた業界全体の健全な成長のためにも、統計学的な考え方を積極的に取り入れるべきと考えています。
以上
終わり
以上の考え方を徹底して、ラスベガスを荒らした猛者たちのノンフィクションがあります。映画「ラスベガスをぶっつぶせ」の主人公が書いた本で、その哲学と、それを実行する勇気にとても共感できます。インターネット広告運用している方や広告主の方は是非読んでいただければと思います。
参考文献
競争優位で勝つ統計学 ---わずかな差を大きな勝利に変える方法/河出書房新社
￥1,995
Amazon.co.jp