いつもASO対策の教科書をご覧いただき、誠にありがとうございます！

今回は理想のA/Bテストについて、日米で運営している広告配信プラットフォームV.O.X(*)に触れながらお伝えしていきたいと思います！

(*参考：「ASOの限界を超えてオーガニック成長を最大化｜V.O.X」)

・・・

A/Bテストとは

それではまずA/Bテストとは何かという点から見ていきたいと思います。下図をご覧ください。

A/Bテストは、デジタルマーケティングの分野で広く使用されるテスト手法の一つです。このテストは異なるアプリの要素を比較し、どちらがより効果的かを判断するために行われます。

例えば、App Storeに掲載されているアプリの場合、アイコンやスクリーンショットなどが「要素」にあたります。A/Bテストでは、異なるアイコンやスクリーンショットを用意し、それぞれのコンバージョン率（利用者がアクションを起こす率）を比較します。

図の左側(アイコン)の例をご覧ください。The Coastのアイコンのコンバージョン率が30％で、別のアイコンが40％だった場合、40％の方が優れていると判断されます。

スクリーンショットの場合も同様です。図の右側の例をご覧ください。オリジナルのプロダクトページ(Original Product Page)をAとしてテスト用に準備されたページ(Treatment A)と比較します。それぞれのコンバージョン率を見て、より高い効果を示す方を採用することになります。

A/Bテストは、デザインやコンテンツなどの要素をユーザーにとってより魅力的なものにするための有用な手法ですが、ポイントは企業側の視点で検討することではなくユーザー側の視点で検討するということです。最終的に「ユーザーがどちらを好むのか」という結果を基準にした最適な選択を行うことが、A/Bテストを行うことで可能になります。

スクリーンショットの影響度

次にスクリーンショットの影響度について触れていきたいと思います。下図をご覧ください。

多くの方々がご存知かもしれませんが、スクリーンショットの改善は非常に大きな影響力を持っています。

先程A/Bテストの項目でご案内したアイコンと比べると、アプリストア上ではスクリーンショットの表示面積が圧倒的に大きくなります。そのため、アイコンよりもスクリーンショットの改善がより大きなインパクトをもたらすと言えるでしょう。

さらに、スクリーンショットは面積が大きいだけではなくて広告やその他のトラフィックからの全てのユーザーに対して最初の画面で表示されます。つまり、アプリストアにおける顔のような存在になります。そのため、どのようなスクリーンショットが表示されるかは非常に重要であり、ユーザーがどのような印象を受けるかは大きな意味を持ちます。

ASO（アプリストア最適化）でのテキストの変更や広告の運用なども大切ですが、その前にアプリストアでの表示物をどのように改善するか、特に一番大きな表示面積を占めるスクリーンショットの改善に力を入れることがとても重要だと言えます。

アプリストアではユーザーの好みが全てであり、その好みがコンバージョン率として反映されていきます。私たちはユーザーが欲しいものを徹底的に追求し、それを形にすることが求められています。

これまでのA/Bテスト～App Store Connect～

実際のApp Store ConnectにおけるA/Bテストの詳細を見ていきましょう。

基本的な仕組みとして、Treatment Aとオリジナルページ(Original Product Page)の比較が行われ、どちらが優れているかを判断します。例えば、Aのコンバージョン率が17.1％であり、Bのコンバージョン率が14.7％だった場合、Aの方が優れていると判断されます。これがA/Bテストの基本的なプロセスです。

さらに、UNIQUE IMPRESSIONS(インプレッション数)やCONVERSION RATE(コンバージョン率)、IMPROVEMENT(改善率)、CONFIDENCE(信頼度)などの指標が示されています。

この中でCONFIDENCE(信頼度)は、特に重要であり、A/Bテストの結果がどれだけ信頼できるかを示しています。例えば、90％以上の信頼度がある場合、結果がかなり信頼性の高いものと見なされます。

一方信頼度が低い場合、例えば10％や20％のような場合、結果があまり確実ではない可能性があります。短期間や少ないトラフィックに基づいて計算された結果は、信頼度が低い傾向にあります。そのため、信頼度が90％以上であれば、かなり信頼できる結果と言えるでしょう。

App Store Connectに表示されているこの数値は、結果の信頼性を判断する上で重要な指標となります。以上がこれまでのApp Store ConnectのA/Bテストの説明になります。

ここからはApp Store ConnectでA/Bテストを行う際の問題点について触れていきたいと思います。

App Store Connectでテストを行う際の問題点①～実施期間～

App Store ConnectでA/Bテストを行う際の問題点の一つ目として、実施期間に関しての問題が挙げられます。

まず、実施期間が最長90日という制約があります。Appleの公式ホームページにはこのように記載されていますが、実際にはこの期間が長過ぎると感じる場合があります。Googleの場合も時間がかかることがありますが、90日は実際にはかなり長い期間です。3ヶ月という期間は、スクリーンショットの改善を行う際には適切ではないかもしれません。結果として、改善していくはずのPDCA(Plan-Do-Check-Act)サイクルが非常に遅くなってしまうことでしょう。

さらに、先ほど述べた90%の信頼区間に到達するまでに1ヶ月半程かかることもざらにあります。また信頼度そのものが2週間経っても数字が上がらない状況に直面することもあります。たとえ経験豊富な開発者のみなさんであったとしても、こうした状態は非常にストレスフルなのではないかと感じています。

実施期間が最長でも90日という制約は、多くの開発者が経験する問題点の一つだと考えています。

App Store Connectでテストを行う際の問題点②～テスト結果のブレ～

App Store ConnectでA/Bテストを行う際の問題点の二つ目として、テスト結果のブレに関して触れていきたいと思います。下図をご覧ください。

テスト結果のブレは、トラフィックの配分に起因する可能性があります。実際のトラフィックが20%の割合で均等に割り振られているかどうかが明確に記載されていない場合、テスト結果がトラフィックの流入元(図中のMeta、Google、ASA、TikTok、Organic)に依存する可能性が考えられます。

例えば、Aの結果が主にOrganicからのトラフィックによって影響され、Bの結果が主にGoogleからのトラフィックによって影響される場合があります。このような状況では、テスト結果にブレが生じる可能性が高まります。

さらに、全てのトラフィックを使っているということも問題です。A/Bテストを実施する際に、AとBの両方が良い結果を出す場合は問題ありません。しかし、片方が悪い結果を出す場合で、特にそのトラフィックの大部分が広告から来ている場合、無駄な広告費が発生します。これは大きなリスクであり、効果が悪いものに予算を使ってしまっているということが起こり得ます。

特定のトラフィックの依存度が高い場合や全体的なトラフィックの使い方に不均衡がある場合、テスト結果にブレが生じる可能性があります。この問題点は、A/Bテストを行う際に考慮すべき重要な要素であり、リスクが大きくなる可能性があることを念頭に置いておく必要があります。

理想のA/Bテスト機能

ここまで問題点をみてきましたが、ここからは解決策の一つとしてV.O.Xに触れながらお伝えしていきたいと思います。V.O.Xではこれらの問題点を解消するA/Bテスト機能を備えています。下図をご覧ください。
具体的には、Apple Search AdsとCPP（カスタムプロダクトページ）を利用して、キーワード単位でのA/Bテストを行います。これによって検索ランキング上昇における最大効果を狙うことができます。

例えば"travel guide"というキーワードで検索を行った場合、表示される結果の中からAwayFinderがA/Bテストの対象となります。Aのスクリーンショットには黄色がかったものと地図が表示され、Bのスクリーンショットには異なる背景や内容が含まれます。そして、Apple Search Adsを使用しながら、これらの異なるバージョンを実際にA/Bテストしていきます。

この際、Apple Search Adsの自動配信による詳細レポート(右図)では、使用した広告費やCTVR(インプレッションからのインストール率)などの結果が評価されます。CTVRは、クリックではなくインプレッション数を母数として、インストールがどれだけ発生したかを評価する指標で、V.O.XではCTVRを重視したA/Bテスト手法を採用しています。

これは、CVR(クリックからのインストール率)で見てしまうとインプレッションの価値が一切わからなくなってしまい正確な情報を見逃してしまうため、インプレッションからの価値を考慮した手法としてCTVRを採用し、CVRとはと異なる視点からテスト結果を評価します。

また、CPP(カスタムプロダクトページ)という機能を使用して、AとBのスクリーンショットを自由に変更できるプロダクトページをカスタマイズすることができます。これにより、キーワード単位でのA/Bテストが可能となります。

まとめると、V.O.XのA/Bテスト機能は、Apple Search AdsとCPPを活用して、キーワードに基づいたテストを行い、CTVRを通じてインプレッションの価値を評価します。これにより、App Store Connectの CVR評価と比べてより効果的なスクリーンショットの選択が可能となります。

キーワードでA/Bテストする意義①～全体CVRの上昇～

先ほどキーワードという重要なポイントが出てきたので、キーワードでA/Bテストをする意義について触れていきたいと思います。

キーワードでA/Bテストする意義の一つに「全体的なコンバージョンの増加」があります。具体的な事例を挙げると、AとBのスクリーンショットをテストし、その結果Aが勝利したとします。この場合、Aのスクリーンショットを全体に適用することで、コンバージョンレートが2倍に増加したという事例が存在します。これは、CPI(クリック単価)が半分になったことと同義になり、広告費用全体の削減につながります。

なぜこのような結果が生まれるのかというと、キーワードの影響力が大きく関与しています。特定のキーワードがアプリにとって有益である場合、そのキーワードに関連するトラフィックが集まります。そして、その中でA/Bテストを行い、勝利した場合、そのキーワードがアプリを最も適切に表現していると言えます。

つまり、キーワードによって影響を受けるスクリーンショットが最も効果的だと分かり、そのスクリーンショットを全体に適用することで、広告全体の効果が向上する、ということになります。例えば、Facebookなどの広告チャネルで実施していた広告でも、キーワードによってコンバージョンが上昇したことで、広告全体の効果が増大するということが起こります。

言葉の選び方がとても重要であり、その言葉が最も影響力のあるキーワードである場合、その効果は広告全体、ありとあらゆるチャネルに波及していきます。影響力のあるキーワードに基づくスクリーンショットの改善は、1つの広告に留まらず全体のコンバージョン率の増加に繋がります。

キーワードでA/Bテストする意義②～オーガニック検索ランク上昇可能性～

キーワードでのA/Bテストするもう一つの意義は「オーガニック検索ランキングの上昇の可能性」です。下図をご覧ください。

具体的な事例として、特定のキーワードに関連するスクリーンショット(例えば、"travel guide")で行ったA/Bテストにおいて、Aが勝利したとします。この場合、Aのスクリーンショットを全体に適用することで、そのキーワードに関連するオーガニック検索結果のランキングが上昇する可能性があります。

なぜなら、オーガニック検索結果のランキングは、そのキーワードに関連するコンバージョン率やCTVR(クリックからインストールまでの変換率)などに基づいています。特定のキーワードに関連するアプリのコンバージョン率が高ければ高いほど、そのアプリはそのキーワードに対して適切であると見なされ、ランキングが上昇します。

例えば、「Tiktok」というキーワードで検索した場合、ユーザーはそのキーワードに関連するアプリを求めています。もしランキング上位にTiktokと関係のないアプリが表示された場合、ユーザーはそのアプリをインストールしない可能性が高いです。その結果、そのアプリのコンバージョン率やCTVRが低下し、ランキングも下がることになります。

したがって、特定のキーワードに関連するスクリーンショットで行ったA/Bテストの結果がコンバージョン率の向上に繋がれば、そのキーワードに関連するオーガニック検索結果のランキングも上昇する可能性が高くなります。このような現象は、検索エンジンのアルゴリズムにも影響があると考えられ、コンバージョン率やCTVRが高いキーワードに対して、ランキングが優先されるようになるのが自然なことだと言えると思います。

特定のキーワードに関連するスクリーンショットの改善が、オーガニック検索ランキングの上昇につながる可能性をお感じいただけたのではないかと思います。
このポイントは、一つ前の項目でお伝えした全体的なコンバージョンの増加と合わせてA/Bテスト戦略の構築において重要な要素になります。

CPPでA/Bテストする意義～最大35キーワードのスクリーンショットを最適化～

また、ここで補足としてCPP(カスタムプロダクトページ)についても触れておきたいと思います。
CPPでA/Bテストする意義は、最大35キーワードのスクリーンショットを同時に最適化できる点にあります。下図をご覧ください。

CPPは、キーワードごとに異なるスクリーンショットを表示させることができるため、特定のキーワードに対して最適なコンテンツを提供することが可能です。

具体的には、例えば「travel guide」というキーワードでは、そのキーワードに関連するスクリーンショットを表示させたいときには、該当するスクリーンショットを表示します。同様に、「vacation planner」というキーワードでは、そのキーワードに関連するスクリーンショットを表示させます。このよう形で最大35パターンまで同時に行うことができます。

CPPを利用することで、ユーザーの属性や興味に応じてスクリーンショットを変更し、コンバージョンを最大化することができます。これにより、検索ランキングの上昇や全体的なコンバージョンの向上が期待できます。

V.O.Xでは、CPPを活用してキーワードごとに最適なスクリーンショットを提供し、コンバージョンの向上を図っています。コンバージョンが上がることで検索ランキングの上昇なども見込まれ、一層効果的な広告展開やユーザー体験の最適化が可能となります。

V.O.Xによる理想のA/Bテストの実現

ここまで理想のA/Bテストについて、様々な観点から触れて来ましたが最後にV.O.Xで実現可能なA/Bテストの理想イメージフローを以下に記載します。

1.キーワード型のA/Bテストによるコンバージョン増加: 
影響度の高いキーワードでのA/Bテストにより、コンバージョンが増加し、集客全体のコンバージョンも増加します。またCPPを活用することで、最大35キーワードまで同時にスクリーンショットを最適化できます。キーワードごとに異なるコンテンツを提供し、ユーザー属性や興味に合わせたスクリーンショットを表示します。

2.脱App Store Connectによるテスト期間の短縮と流入トラフィックの偏り解消:
特定のキーワードにトラフィックを集中させることで、テスト期間を短縮し、効率的なA/Bテストを行います。また、同じ条件の配下でテストすることで、流入トラフィックの偏りが理論上ほぼ解消されます。

3.検索ランキングへの好影響:
コンバージョン増加によってオーガニック検索ランキングが上昇、集客数を一層増やすことが可能となります。

これら３つのメリットにより、V.O.XのA/Bテストは効果的な広告展開とユーザー体験の最適化に貢献します。
ぜひ理想のA/Bテストの実現に向けてV.O.Xのご利用をご検討いただけると幸いです。

以上、今回は「理想のA/Bテストについて」というテーマについて進めてきましたがいかがだったでしょうか。
スクリーンショット制作ノウハウや制作リソースもお客様のご要望に合わせてご提供しておりますので、A/Bテストの画像制作等でお悩みのお客様もぜひお気軽に弊社ホームページよりお問い合わせください！

それでは今回のまとめに入らせていただきます！

まとめ

・・・

最後までお読みいただきありがとうございました。
【ASO対策の教科書】ではアプリにまつわる専門的な情報から心得のようなものまで、その時々のトピックを随時発信しています。

ASO対策の教科書編集部

↓↓導入事例はこちらから

↓↓アプリ広告やASO対策に関するご相談はこちら

↓↓App Store向け総合SEMプラットフォーム「V.O.X」