今日は、ABテストに関する以下の質問をいただきました。

「予算はどのくらいを見込んでおくのがいいのでしょうか？もしくはコンバージョン数で考えた方がいいのでしょうか？」

こちらについて、ダイレクト出版のセールスライターである山田が、ダイレクト出版が実際に取り入れている方法で回答させていただきます。

ダイレクト出版では、ABテストをする際に予算は決めていません。
予算だと、金額の大小でデータが正確でない可能性もあるし、そもそも予算の決め方が難しいです。

ABテストの目安は、予算

なので予算でABテストするのではなくて、コンバージョン数で考えるようにしましょう。

但し、コンバージョン数でのABテストにも注意が必要です。

例えば「先に50コンバージョンした方が勝ち」というふうにルールを決めていたとします。

その結果、Aという広告が先に50コンバージョンしたとしても、その後もテストを続けていると、最初はだめだったBの方が追い上げてきて、結果的にBの広告の方が優秀だったということがあるからです。

この場合は、「先に到着した方が勝ち」という考えを改めて、統計学で判断していかないといけません。

統計学判断なので、ある程度数字が取れている状態（データがたまっている状態）でないと判定ができませんが、ある程度数字が取れている状態でしたら、おすすめのツールがあるのでこれを使ってみてください。

ABテストに取り組むと、どれだけテストをしても大した差がなかったり、いまいちデータが足りなかったり、数字が安定しない場合などがあります。（頻繁に売れるわけではない高額商品など）

そういったときは細かい変化でのテストをやるのではなく、全く違うものをABテストするのがおすすめです。

本当にいいものは明らかに差がつくので、判断がしやすいものです。
そういうテスト結果が出るまでは、新しいものでチャレンジするのも1つの手です。

テストしたい広告が2つ以上ある場合は、一度に全てテストしないことをおすすめします。
まずはAとBを戦わせて、Aが買ったしたら、次はAとCで戦ってみるというやり方がいいと言われています。

その理由としては、ABテストを繰り返していくうちに「どんなターゲットにはどんな文章やデザイン、ページだと反応が良い」ということがわかってくるからです。

テストを繰り返しながら、自身やチームの知見を蓄積していくことができるので、はやい段階で次のテストの成功率やレベルが高まっていくことが期待できます。

ABテストを行うときは、予算よりもコンバージョン数を基準にした方がいいです。
しかしコンバージョン数だけだと判断が難しいときもあるので、その場合は統計学での判断も取り入れてみましょう。

また、明らかに良いものはテスト結果でもわかりやすく差がつきますので、そういう結果が見られないときは、細々としたテストよりも、全く別のものでテストするようにしましょう。