A/Bテスト とは？

たとえばECサイトの「購入ボタン」を緑色（A案）と赤色（B案）の2パターン用意する。サイトに来たユーザーをランダムに半分に分けて、それぞれに違う色のボタンを見せる。1〜2週間データを集めて「赤色の方がクリック率が15%高い」と分かったら、赤色を正式に採用する。これがA/Bテストだよ。

ダメなんだ。人間の直感は意外と当てにならなくて、デザイナーが自信を持って提案した変更が実はコンバージョンを下げていた、なんてことはよくある。A/Bテストは統計的に「この差は偶然ではない」と証明する。「有意差がある」と言えて初めて意味のある結果になるんだよ。

検出したい差の大きさ（効果量）によるけど、一般的にはグループあたり数千〜数万のサンプルが必要だよ。サンプルが少ないと「統計的に有意かどうか判断できない」で終わっちゃうんだ。

これは「ピーキング問題」と呼ばれる落とし穴だよ。途中経過を見て「もう差が出てるからOK」と早期に判断すると、偶然の偏りを誤って採用するリスクがある。事前に「サンプルサイズ○○、期間○週間」と決めて、その条件を満たしてから判定するのが正しいやり方だよ。

A/B/Cテスト（多変量テスト）は3パターン以上を同時に比較する手法だよ。パターンが増えると必要なサンプル数も増えるから、トラフィックの多いサイトでないと現実的に難しい。まずはA/Bの2パターンで仮説を検証し、勝った方をさらに別の案と比較するのが効率的だね。

できるよ。検索アルゴリズムの改善や、レコメンドロジックの変更なども対象になる。フィーチャーフラグと組み合わせて、バックエンドのロジックをユーザーグループごとに切り替えるんだ。NetflixやGoogleは年間数千のA/Bテストをバックエンドも含めて回しているよ。