第1章 セレクションバイアスとRCT：Huluの動画推薦から理解する効果検証

1.1.1 効果は「施策がなかった場合」との差である

なぜ、施策後の視聴率そのものではなく「差」を求めるのだろうか。それは、新モデルを採用するという意思決定の裏側には、旧モデルを使い続けるというもう一つの選択肢が残っているからである。旧モデルでも起こったはずの視聴を差し引いて初めて、モデル変更によって追加された価値を考えることができる。したがって、効果を定義するときは「何と比べて新モデルを選ぶのか」という比べる相手、すなわち比較対象を決めることから始まる。

まず、測りたい問いを具体的にする。たとえば「ホームの推薦モデルを従来モデルから新モデルへ変更すると、その後7日間に対象シリーズを視聴するプロフィールの割合がどれだけ変わるか」という問いである。

ここで用語を整理しておくと、新モデルを適用することを 介入・処置 、従来モデルを適用することを 対照 、7日間の視聴の有無を アウトカム （結果）と呼ぶ。注意したいのは、対照が「何も表示しない」である必要はないことで、新旧モデルの比較であれば、対照群でも旧モデルによる推薦は続いている。

具体例で考えよう。新モデル適用後に、1,000人中300人が『名探偵コナン』を視聴したとする。ただし、同じ1,000人に従来モデルを使っていたとしても250人は視聴したはずだとすると、新モデルによる増分は次のようになる。

新モデルで視聴した300人から、旧モデルでも視聴したはずの250人を引くと、増えたのは50人であり、1,000人で割れば0.05である。つまり、効果は視聴率の 5パーセントポイント上昇 である。以下、パーセントポイントを pp と略す。一方、従来の25%を基準にした相対増加率は次の通りである。

25%から30%への増加は、元の25%と比べれば2割の増加なので、「5 pp」と「20%の相対増加」は同じ変化を別の尺度で表しているだけである。ここで大切なのは、観測された300人全員を「新モデルが新たに生み出した視聴者」と数えてはいけないという点で、300人のうち250人は新モデルがなくても視聴していたからである。

次の図は、「もともと見ていた人」の上に「新モデルで増えた人」を積み上げたものである。

教科書の図1.1も同じことを描いており、メールがなくても発生する購買と、メールによって増えた購買を分けて示している。

1.1.2 潜在的な購買量を、潜在的な視聴に置き換える

「メールがなかった場合の購買額」とは、前月の購買額のことではなく、 メールを送るかどうかを決めた、その同じ時点から始まる観測期間において、メールを送らなかった場合に生じたはずの購買額 である。つまり、「同じ期間に、別の選択をしていたら」という考え方である。

Huluでも同じく、「新モデルを適用しなかった場合の今週の視聴」が必要になる。ここで、先週の視聴と今週の視聴を比べればよいと思うかもしれないが、先週と今週では、新エピソードの公開、休日、広告、季節性など、モデル以外の条件も変わっている。たとえば先週の視聴率が20%、今週が30%だったとしても、旧モデルのままでも今週は28%に上がったはずなら、新モデルの効果は10 ppではなく2 ppである。

このように、現実には選ばれなかった条件のもとで生じたはずの結果を 反実仮想 （もし別の選択をしていたら起きたはずの結果）と呼ぶ。過去の実績は反実仮想を考えるための材料にはなるが、それ自体が反実仮想の正解ではないことに注意したい。

1.1.3 視聴しそうな人に推薦すると、比較が歪む

視聴率の高い推薦対象者が見つかったとき、次に知りたいのは「この推薦方法を広げれば、さらに視聴を増やせるか」である。しかし、視聴率が高かった理由が対象者自身の視聴意欲の高さにあるなら、推薦方法を他の人に広げても同じ成果が得られるとは限らない。そのため、成果の数字を見るだけでは足りず、 誰が、どの情報を使って、その人を推薦対象に選んだか を調べる必要がある。選択バイアスという概念は、この「選ばれ方」を比較の問題として扱うために導入する。

推薦システムは通常、ユーザの履歴や興味に応じて作品を選ぶので、ある作品の推薦を受けた人と受けなかった人では、推薦する前からその作品への興味が違いやすい。

教科書の図1.2では、過去の購買や最近の購買に応じてメールを配信している。Huluに置き換えると、「アニメをよく見る」「最近『名探偵コナン』を見た」といった条件で推薦対象を選ぶことに対応する。

以下では各グループの人数を1,000人とし、表の各値は説明のために設定した平均・期待値とする。

観測した視聴率をそのまま引くと35 ppの差があるが、推薦された人への本当の効果は5 ppにすぎない。この35 ppは、次のように二つの部分に分けられる。

観測された35 ppの差は、推薦が生んだ5 ppと、推薦がなくても最初からあった30 ppの差を足したものであり、後半の30 ppがこの比較に含まれる セレクションバイアス（選択バイアス） である。つまり、推薦がなくても存在していた差が、効果の中に混ざり込んでいる。図1.3の棒の高さも、効果と元来の購買傾向の違いを合わせて示している。

なお、バイアスは過大評価だけを意味するわけではなく、過小評価の方向に働くこともある。たとえば、休眠しそうな人へ復帰を促す施策では、もともと視聴しにくい人に介入が集中する。介入対象者の無介入時の視聴率が5%で施策により10%になり、非対象者の視聴率が30%だったとすると、観測差は $0.10-0.30=-0.20$ となる。対象者に対しては5 pp改善しているのに、単純比較では20 pp悪化したように見えてしまうのである。

過大評価の例と過小評価の例を並べると、次のようになる。

補足として、統計学でいう推定量のバイアスとは「推定を繰り返したときの平均的なずれ」であり、1回の推定値と真値との差には、この系統的なずれに加えて偶然の誤差も含まれる。

1.2.1 同じ人の二つの結果は、同時には見られない

あるプロフィールについて、同じ週に「新モデルを使った結果」と「旧モデルを使った結果」の両方を観測できれば、効果を直接計算できる。しかし現実には、どちらか一方しか実現しない。これが 因果推論の根本問題 と呼ばれるものである。

「翌週にモデルを戻して同じ人を観察すればよいのではないか」と思うかもしれないが、翌週には時間も、配信されている作品も、本人の興味も変わっている。加えて、今週の推薦をきっかけに見始めた作品を翌週も見続けるという「持ち越し」もありうる。したがって、単純な前後比較では、同じ条件の二つの世界を再現できない。

1.2.2 RCTは、平均の比較を可能にする

興味や視聴意欲が違うことが問題なら、過去の視聴日数とジャンルを揃えるなど、似たユーザを集めて比べたくなる。しかし、それだけでは「今週は仕事が忙しい」「新エピソードを楽しみにしている」といった、記録されていない違いまでは揃えられない。

ここで発想を変える。誰がどれだけ興味を持つかを完全に予測する代わりに、モデルの割当をその興味から切り離してしまえばよい、というのが無作為化（ランダム化）を行う動機である。無作為に割り当てると、測れた特徴についても測れていない特徴についても、片方の群へ意図的に人を集める仕組みがなくなる。つまり、 ランダムにするのは、比較に必要な条件を、分析の前のデータ生成の段階で作ってしまうためである 。

RCT（Randomized Controlled Trial、無作為化比較試験）では、事前に決めた対象者をランダムに介入群と対照群へ割り当てる。Webサービスでよく行われるランダム割当のA/Bテストは、RCTの一種である。

たとえば「実験開始時に対象条件を満たす2万人」を、1万人ずつ新モデル群と旧モデル群へ無作為に分けるとしよう。好きなジャンル、視聴意欲、可処分時間などを割当の判断に使わなければ、片方だけに視聴意欲の高い人を集める仕組みは存在しなくなる。

ここで重要なのは、 一度の実験で、二つの群の特徴が完全に一致するわけではない ことである。ランダムに分けても、新モデル群にアニメ好きが少し多く入ることはあるが、無作為化が防ぐのは、その偏りが特定の方向へ系統的に生まれることである。残った偶然の変動は、後で説明する標準誤差や信頼区間で扱う。

図1.6は、平均的に偏りがなくなることを理想化して描いた図なので、「RCTなら各回の標本で必ずバイアス項がちょうどゼロになる」という読み方はしない。

1.3.1 母集団、標本、無作為割当の違い

モデルを「誰に」展開するかによって、知りたい平均は変わる。TV利用者への展開を判断するならTV利用者での効果が必要であり、全会員への展開なら全会員での効果が必要になる。ここで母集団と標本を分けて考えるのは、手元で測れた人たちの結果と、最終的に意思決定したい人たちの結果を、同じものとして扱わないためである。

母集団 は効果を知りたい対象の全体であり、 標本 は手元で実際に観測する対象である。たとえば「実験開始時に有料会員である対象プロフィール全体」を母集団とし、その中で実験に参加した2万人を標本とする。

ここで二つの操作を区別しておきたい。母集団から誰を実験に含めるかを決めるのが 抽出 であり、実験参加者を新旧モデルに分けるのが 割当 である。無作為割当は実験の中での比較を妥当にするが、TV利用者だけで行った実験からスマートフォン利用者にも同じ効果があると結論するには、対象の違いを別に考える必要がある。

なお、全対象者を実験に含めた場合でも、一人の潜在アウトカムの片方は観測されないため、有限の対象者に対して割当を変えれば推定値が動くという不確実性は残る。ただし、これは「RCTでもデータを増やして推定精度を高めることはできない」という意味ではない。

1.3.2 記号を一つずつ定義する

実際には見えない結果に、なぜわざわざ記号を付けるのだろうか。それは、観測ログだけを眺めていると、「表示された作品を見た」という事実と、「表示したから見た」という因果的な主張を、同じ列で表してしまいやすいからである。

二つの潜在アウトカム（介入あり・なしのそれぞれで起きるはずの結果）を用意すると、知りたい差を計算するのに必要な値と、そのうち実際に記録できる値を区別できる。これは架空の正解ラベルを分析に投入する操作ではなく、 何が観測できず、その不足をどの比較や仮定で補うのかを明らかにするための定義 である。

以下では教科書の $Z_i$ を $T_i$ と書き、Pythonの treatment に対応させる。

潜在アウトカムは「観測されない側」だけを指すものではなく、 $Y_i(1)$ と $Y_i(0)$ の 両方が潜在アウトカムであり、実際に受けた処置に対応する一方だけが観測される 。また、元資料には介入あり・なしと添字の対応が逆転している文章があるが、本ノートでは1を介入あり、0を介入なしに統一する。

観測値は次の式で表せる。

新モデル群の人（ $T_i=1$ ）については $Y_i(1)$ が、旧モデル群の人（ $T_i=0$ ）については $Y_i(0)$ が記録に残る、という意味である。たとえば $Y_i(1)=1$ 、 $Y_i(0)=0$ の人が新モデル群にいれば、 $T_i=1$ を代入して $Y_i=1\times1+0\times0=1$ となり、同じ人が旧モデル群にいれば $Y_i=0\times1+1\times0=0$ である。この式は観測できる側をスイッチで選んでいるだけで、二つの値をログから同時に計算できるという意味ではない。

個人の効果は次の通りである。

つまり、その人が新モデルで視聴するかどうかと、旧モデルで視聴するかどうかの差である。視聴の有無を0/1で定義すると個人効果の値は1、0、-1の3種類になり、潜在アウトカムの組み合わせで見ると次の4通りである。

新モデル群で視聴した人には、最初の行の人（新モデルによって視聴が生まれた人）と2行目の人（どちらでも視聴する人）が混ざっているが、ログ上の「視聴した」という事実だけでは、どちらなのかを判別できない。ここに、「視聴を予測すること」と「増分効果を予測すること」の違いがある。

なお、潜在アウトカムを考えるために「人の未来が哲学的に完全に決まっている」と主張する必要はない。これは、比較したい介入と期間を定義し、それぞれの条件に対応する結果を考えるための枠組みにすぎない。

1.3.3 個人の効果から平均処置効果へ

一人ずつの効果が観測できないと聞くと、施策の判断も不可能に思えるかもしれない。しかし、新モデルを対象者全体へ展開するかどうかを判断するときは、誰の視聴を新たに生んだかを特定できなくても、全体として何人分の視聴が増えるかが分かれば役立つ。

たとえば対象者が10,000人で、対象集団の平均効果が3 ppなら、全員を新モデルにした場合と旧モデルにした場合の視聴者数の差は、期待値で $10{,}000\times0.03=300$ 人となる。ここで、効果を受ける個人を一人ずつ当てる必要はない。そこで、まずは意思決定に直結し、適切な実験によって推定できる「平均効果」を目標にする。

ATEとATTという二つの平均効果を分けるのも、展開判断の範囲を合わせるためである。現在の推薦対象者に施策を続ける価値を考えるなら、その対象者での平均効果が関心になる一方、これまで対象にしていなかった人へも広げるなら、広げた後の対象集団についての平均効果が必要になる。

個人効果を直接観測できなくても、母集団全体で平均した効果なら推定できる場合がある。平均処置効果（Average Treatment Effect、ATE）は次の量である。

$E$ は期待値、つまり母集団での平均を表すので、ATEは全員について新旧の差を取って平均したものである。「同じ人について差を取ってから平均する」と「同じ母集団の二つの潜在アウトカムをそれぞれ平均してから引く」は、結果が一致する。

たとえば1,000人のうち、新モデルでのみ視聴する人が80人、旧モデルでのみ視聴する人が20人で、残り900人は視聴の有無が変わらないとする。

ATEは6 ppであるが、これは全員の視聴確率が一律に6 pp増えることを意味しないし、「効果があった60人」を特定できることも意味しない。

実際に介入された人だけを対象とした平均効果は、ATT（Average Treatment Effect on the Treated、処置群における平均処置効果）と呼ぶ。

記号 $\mid T=1$ は「介入群に属する人に限って」という条件を表すので、ATTは新モデルを実際に割り当てた人たちだけで新旧の差を平均したものである。たとえばアニメ好きだけに介入して、その人たちでの平均効果が8 pp、アニメ好きでない人での効果が0 pp、母集団では両者が半々だとしよう。このときATTは8 ppだが、ATEは $0.5\times0.08+0.5\times0=0.04$ 、すなわち4 ppである。

このように、 誰についての効果を求めるのか を決めずに「本当の効果」とだけ呼ぶと、異なる量を比べてしまうことになる。

1.3.4 実際に計算する平均の差

介入群の人数を $n_1$ 、対照群の人数を $n_0$ とすると、データから実際に計算する値は次の通りである。

介入群の観測値の平均から、対照群の観測値の平均を引くだけの計算である。ハット $\widehat{\phantom{x}}$ は手元のデータから得た推定値であることを示す記号で、ここでの $\bar Y_1$ は介入群で実際に観測した値の平均であり、母集団全員の $Y_i(1)$ の平均ではない。

教科書の疑似データは、次の2タイプにまとめられる。

各人の効果は100であるはずなのに、実際に計算した平均の差は $600-300=300$ となる。なぜこうなるのかというと、介入群からは購買の多い人の $Y(1)$ を拾い、対照群からは購買の少ない人の $Y(0)$ を拾っているためである。

1.3.5 平均の差を分解する：なぜATTが現れるのか

平均差の分解で知りたいのは、「観測差のどこまでが処置の効果で、どこからが人の違いなのか」である。新モデル群と旧モデル群の平均をそのまま引くと、「使っているモデル」と「比較している人」が同時に変わってしまう。そこで、一度に変えるものを一つにするために、間に「新モデル群の人が旧モデルを使った場合」という中間の状態を挟む。

先ほどの視聴率の例で考えよう。出発点は新モデル群の45%、終点は旧モデル群の10%で、この間に新モデル群の人が旧モデルを使った場合の40%を置く。すると、45%から40%への差は「同じ人たちについてモデルだけを変えた差」となり、40%から10%への差は「旧モデルに揃えたときの、人たちの違いによる差」となる。

数式で同じ項を引いて足すのは、この中間の比較を作るためであり、値を変えずに差の意味を二段階へ分けている。ただし、中間の40%は現実には直接観測できないので、この式だけで効果を数値として取り出せるわけではない。分解によって分かるのは、どの未知の量に対してRCTなどの根拠が必要になるかである。

観測された平均の差に対応する母集団の量を $\Delta$ とすると、観測値と潜在アウトカムの関係から次のように書ける。

介入群で観測した平均は介入群の $Y(1)$ の平均であり、対照群で観測した平均は対照群の $Y(0)$ の平均である。ここで、「介入された人が介入されなかった場合の平均」 $E[Y(0)\mid T=1]$ を一度引いてから足すと、足し引きが相殺されるため式の値は変わらない。

最初の差は「介入された人」という同じ対象について二つの世界を比較しているのでATTであり、後半の $B_0$ は両群をともに無介入にした場合でも残る差、言い換えると「もともとの差」である。

観測された差は、介入された人への効果と、もともとの差の合計であり、これが一般に成り立つ分解である。ATEを基準にしてずれを考えるなら、さらに次の項が必要になる。

つまり、観測差とATEのずれは「もともとの差」と「ATTとATEの差」の二つからできているので、「平均の差＝ATE＋選択バイアス」と直ちに書けるのは、ATTとATEが等しくなる条件があるときだけである。全員の効果が同じ場合や、潜在アウトカムと独立に無作為割当する場合がそれに当たる。

先ほどの購買例では $\tau_{\mathrm{ATT}}=100$ 、 $B_0=500-300=200$ なので、 $\Delta=100+200=300$ となる。Huluの例なら、 $0.35=0.05+0.30$ である。

図1.7の左の薄い部分は「介入群の無介入時の平均」であり、実際には介入しているため直接観測できない。図のように棒を描くことはできても、ログにバイアスを計算するための列が揃っているわけではない。

1.3.6 データを増やしても、比較のずれは消えない

推定結果が信用しにくいとき、次に取れる行動は少なくとも二つある。一つは対象者を増やして偶然の揺れを小さくすることであり、もう一つは対象者の選び方や比較の方法を変えて、系統的なずれを減らすことである。どちらが必要かを判断するために誤差を分解して考えるのであって、原因が選択バイアスであるのに実験期間やデータ量だけを増やしても、必要な改善にはつながらない。

推定値の誤差を概念的に分けると、次のようになる。

推定値と本当に知りたい値のずれは、狙いそのもののずれ（バイアス）と、偶然による揺れの二つに分かれる。独立なデータを増やすと通常は後半の変動を小さくできるが、興味の強い人だけを介入群に集める仕組みをそのまま維持すれば、前半のずれは残る。たとえば真のATTが5 ppで、観測差が35 ppへ近づく仕組みなら、データを増やしても「35 pp付近」をますます精密に測ることになるだけである。

1.3.7 RCTで平均の差がATEに対応する理由

ここまでで、平均の差を計算する方法と、それが効果からずれる理由が分かった。次に必要なのは、「どの条件があれば、計算した平均差を因果効果と解釈してよいのか」という根拠であり、独立性の式を導入する目的はこの根拠を明示することにある。単純な集計だから弱い分析なのではなく、その集計に意味を与える割当の条件が成立しているかどうかが重要なのである。

全員に同じ確率で無作為割当を行う理想的なRCTでは、次の独立性が成立する。

これは「割当を知っても、その人がどちらのモデルでどのような結果になるかについて、系統的な情報は増えない」という意味である。たとえば、新モデル群に入ったと知っても、その人がコナンを見やすい人かどうかは分からない。したがって、母集団では次の等式が成り立つ。

つまり、介入群の $Y(1)$ の平均は全員の $Y(1)$ の平均と同じであり、対照群の $Y(0)$ の平均は全員の $Y(0)$ の平均と同じなので、これらを代入すれば平均の差がATEになる。

教科書の表1.2では、もともと購買が多い人と少ない人が、介入群に2人ずつ、対照群に3人ずつ入っているため、次の計算でちょうど100になる。

しかし、これは無作為割当のすべての実現で起きることではない。仮に介入群4人が「高購買3人、低購買1人」だったとすると、介入群平均は550、対照群平均は約366.7となり、差は約183.3である。割当を繰り返した平均では100になるが、一回の実験では誤差が残る。

無作為化を因果効果につなげるには、介入と観測の定義も必要である。たとえば「新モデル」がプロフィールごとに全く異なる未記録の処理を意味するなら、何を比較したのかが曖昧になる。また、他人への割当が自分の視聴を変える場合には、その干渉を実験設計に織り込む必要がある。これらは一致性や干渉の問題として整理される。潜在アウトカムと識別条件の補足：Hernán・Robins, Causal Inference: What If

1.3.8 標準誤差、t値、p値、信頼区間

1.4.1 小さなデータで、300と100の違いを再現する

本番データでは真の効果が分からないため、計算が終わっても「何をどのくらい間違えたのか」を直接確認できない。そこで最初は、作成者が正解を知っている小さなデータを使い、同じ計算式でも割当を変えると答えが変わることを確かめる。さらに、すべての割当を列挙してみると、「ある一回の結果」と「割当を繰り返した平均」を区別できる。これは、分析コードの出力を統計的にどう読むかを練習するための手順である。

まず、教科書の10人の潜在アウトカムを作る。疑似データなので、現実では観測できない二つの潜在アウトカムを両方持たせることができる。

from itertools import combinations
from pathlib import Path
import os
from urllib.request import urlopen

import numpy as np
import polars as pl
from scipy import stats

y0 = np.array([300, 500, 500, 300, 300, 500, 500, 300, 500, 300])
y1 = y0 + 100

def observed_difference(treatment: np.ndarray) -> float:
    observed = np.where(treatment == 1, y1, y0)
    return float(observed[treatment == 1].mean()
                 - observed[treatment == 0].mean())

targeted = (y0 == 500).astype(int)
textbook_rct = np.array([0, 1, 0, 1, 0, 0, 1, 1, 0, 0])
print("真の平均効果:", (y1 - y0).mean())
print("高購買者へ集中:", observed_difference(targeted))
print("教科書のRCT割当:", observed_difference(textbook_rct))

# 10人のうち4人へ割り当てる全210通りを、同じ確率で考える。
all_differences = []
for selected in combinations(range(10), 4):
    treatment = np.zeros(10, dtype=int)
    treatment[list(selected)] = 1
    all_differences.append(observed_difference(treatment))

print("全割当の平均:", np.mean(all_differences))
print("全割当の最小・最大:", min(all_differences), max(all_differences))

出力は次のようになる。

真の平均効果: 100.0
高購買者へ集中: 300.0
教科書のRCT割当: 100.0
全割当の平均: 100.0
全割当の最小・最大: -66.66666666666669 266.6666666666667

この結果が示しているのは、「RCTで得た推定値は毎回正解する」と「RCTの推定量は割当に関して平均的に正しい」の違いである。全割当の平均はちょうど100で真の効果に一致するが、10人では正の効果があるのに負の推定値が出る割当もある。したがって、人数の少ない実験の点推定だけを見て、効果の符号を確定してはいけない。

210通りの割当の結果は、次のように散らばる。

1.4.2 Hillstromのメール実験データを準備する

疑似データで仕組みを理解した後は、現実に近いデータでも同じ考え方を使えるかを確認する。現実のデータは「大半は購入せず、一部の人だけが購入する」という形をしており、購入の有無はHuluの視聴の有無と同じ0/1指標なので、購入率の集計を理解すると視聴率の集計へ対応付けやすい。加えて、ランダム割当された元データと意図的に抽出した後のデータを比べることで、検定の出力だけでは比較の質を判定できないことを体験できる。

公開元の実験では、直近12か月以内に購買した64,000人を、男性向け商品メール、女性向け商品メール、メールなしの3群へ無作為に割り当て、その後2週間の行動を記録している。 男性向け商品メールという名前は、受信者を男性だけに限定したことを意味しない 。データ作成者による実験と変数の説明

ここでは教科書に合わせ、男性向け商品メールとメールなしの2群に絞る。注意したいのは、第三のランダム割当群（女性向けメール群）を比較から外すことと、配信後に購入した人だけを残すことが、まったく別の操作だという点である。前者は比較の妥当性を壊さないが、後者は介入の影響を受けた結果によって対象を選んでしまう。

csv_path = Path(os.environ.get("CH1_EMAIL_CSV", "data/hillstrom.csv"))
if not csv_path.exists():
    # 教科書・公開元の配布リンクはHTTPである。
    url = (
        "http://www.minethatdata.com/"
        "Kevin_Hillstrom_MineThatData_E-MailAnalytics_"
        "DataMiningChallenge_2008.03.20.csv"
    )
    with urlopen(url, timeout=60) as response:
        csv_bytes = response.read()
    csv_path.parent.mkdir(parents=True, exist_ok=True)
    csv_path.write_bytes(csv_bytes)

email_data = pl.read_csv(
    csv_path,
    schema_overrides={"history": pl.Float64, "spend": pl.Float64},
)
required = {"segment", "conversion", "spend", "history", "recency", "channel"}
if not required.issubset(email_data.columns):
    raise ValueError("必要な列がない。公開元のCSVであることを確認する。")
if email_data.select(pl.any_horizontal(pl.col(sorted(required)).is_null()).any()).item():
    raise ValueError("欠損があるため、原因を確認してから分析する。")
if not email_data["conversion"].is_in([0, 1]).all():
    raise ValueError("conversionは0/1でなければならない。")

male_df = (
    email_data.filter(pl.col("segment").is_in(["Mens E-Mail", "No E-Mail"]))
    .with_columns(
        (pl.col("segment") == "Mens E-Mail").cast(pl.Int8).alias("treatment")
    )
)

def summarize(frame: pl.DataFrame) -> pl.DataFrame:
    return (
        frame.group_by("treatment")
        .agg(
            pl.len().alias("count"),
            pl.col("conversion").mean().alias("conversion_rate"),
            pl.col("spend").mean().alias("spend_mean"),
        )
        .sort("treatment")
    )

print("RCTの集計")
print(summarize(male_df))

CSVの spend は0が多いため、先頭の行だけで型を推定すると整数列と判定され、後から現れる29.99などを読めない場合がある。そこで、購買額の history と spend は schema_overrides で浮動小数点型を明示する。ここでやりたいのは、たとえば [0, 0, 29.99] を読んで平均 $29.99/3\approx9.9967$ を計算することであり、小数の行を読み飛ばすことではない。

Rの操作は、次のように対応させている。

conversion は0/1なので、その平均がそのまま購入率になる。一方、spend は購入者だけに限定せず、割当対象者全員で平均する。購入者だけの平均購入額は別の指標であり、「メールが一人当たり売上を増やしたか」という問いに直接答えるものではない。Huluで言えば、「視聴した人の平均視聴時間」と「割当者全員の平均視聴時間」の違いに当たる。

1.4.3 平均差と信頼区間を計算する

教科書の var.equal = TRUE に忠実に対応するのは equal_var=True であり、等分散を仮定しないWelch検定を使うには明示的に equal_var=False とする。ここでは両方を出力し、符号を「介入群−対照群」に統一する。SciPyでは、検定結果から信頼区間も取得できる。SciPy公式：ttest_ind

def compare_means(
    frame: pl.DataFrame, outcome: str, *, equal_var: bool = False
) -> dict[str, float]:
    treated = (
        frame.filter(pl.col("treatment") == 1)
        .get_column(outcome).cast(pl.Float64).to_numpy()
    )
    control = (
        frame.filter(pl.col("treatment") == 0)
        .get_column(outcome).cast(pl.Float64).to_numpy()
    )
    if min(len(treated), len(control)) < 2:
        raise ValueError("両群に少なくとも2件必要である。")
    if not (np.isfinite(treated).all() and np.isfinite(control).all()):
        raise ValueError("欠損・無限大を除外する前に、その発生理由を確認する。")
    result = stats.ttest_ind(
        treated, control, equal_var=equal_var,
        alternative="two-sided", nan_policy="raise",
    )
    ci = result.confidence_interval(confidence_level=0.95)
    return {
        "difference": float(treated.mean() - control.mean()),
        "t": float(result.statistic),
        "p": float(result.pvalue),
        "ci_low": float(ci.low),
        "ci_high": float(ci.high),
    }

print("RCTのspend・等分散:", compare_means(male_df, "spend", equal_var=True))
print("RCTのspend・Welch:", compare_means(male_df, "spend"))
print("RCTのconversion・Welch:", compare_means(male_df, "conversion"))

conversion の平均差は購入確率の差である。0/1データでも、十分な標本数があり、各群で購入・非購入の件数が十分にあれば、平均差について人数が多いときの推論を行える。ただし、人数が少ない場合や極端に稀なイベントの場合は、正規近似の信頼区間をそのまま信用してはいけない。

公開CSVによる実行結果は、後述の実行結果表で確認する。資料掲載の丸めた値では対照群の購入率が約0.573%、介入群が約1.25%なので、差は 約0.677 pp である。確率の差で書けば約0.00677となり、「0.677だけ確率が上がる」と書くと単位を誤ることになる。なお、CSVの丸める前の値から計算した差は 約0.6805 pp である。

また、提供された本文中の平均購買額 $1.4226165$ と $0.6527894$ の差を直接計算すると $0.7698271$ になるが、掲載された信頼区間の中点は約0.7652772となっていて、同じt検定の結果としては整合しない。そのため、本ノートでは掲載出力を正解として固定せず、CSVからの計算を基準にする。

1.4.4 無作為化したデータでも、後からの抽出でバイアスが生まれる

ここでは、「実験時にランダムだったから、どんな前処理の後でも公平な比較ができる」という思い込みを確かめるために、わざとデータを偏らせる。Huluでも、ログが豊富な人だけを残す、表示を確認できた人だけを残す、といった加工によって群の構成が変わる可能性があるので、影響の仕組みを自分で作って観察すると、実務でどの抽出条件を点検すべきかが分かりやすくなる。

次のコードでは、購買意欲の高そうな人を介入群に多く残し、購買意欲の低そうな人を対照群に多く残す。これは学習用の操作であり、RCTの本分析で行う前処理ではない。

「高意欲らしい」の条件は教科書のコードに合わせ、history > 300、recency < 6、channel == "Multichannel" のいずれかを満たすこととする。本文には recency < 3 と書かれた箇所もあるが、ここではコードの6を採用する。

rng = np.random.default_rng(1)
diagnostic = (
    male_df.with_columns(
        (
            (pl.col("history") > 300)
            | (pl.col("recency") < 6)
            | (pl.col("channel") == "Multichannel")
        ).alias("high_intent"),
        pl.Series("random_number", rng.random(male_df.height)),
    )
    .with_columns(
        pl.when(pl.col("treatment") == 1)
        .then(pl.when(pl.col("high_intent")).then(1.0).otherwise(0.5))
        .otherwise(pl.when(pl.col("high_intent")).then(0.5).otherwise(1.0))
        .alias("keep_probability")
    )
)
biased_df = diagnostic.filter(pl.col("random_number") < pl.col("keep_probability"))

print("選択バイアスを作った後の集計")
print(summarize(biased_df))
print("抽出後のspend・等分散:", compare_means(biased_df, "spend", equal_var=True))
print("抽出後のspend・Welch:", compare_means(biased_df, "spend"))

for label, frame in [("元の高意欲者割合", diagnostic), ("抽出後の高意欲者割合", biased_df)]:
    print(label, frame.group_by("treatment").agg(
        pl.col("high_intent").mean().alias("high_intent_rate")
    ).sort("treatment"))

簡単な例で確かめよう。高意欲者が元データの60%で、ランダム割当により両群で同じ割合だったとすると、抽出後の介入群での高意欲者割合は次になる。

高意欲者60%は全員残り、それ以外40%は半分だけ残るので、残った人のうち高意欲者が占める割合は75%になる。一方、対照群では次になる。

同じ60%から始まっても、抽出後は75%と約42.9%に開き、その結果として介入の効果に元来の購買傾向の違いが混ざる。 抽出に乱数を使っていても、残す確率が処置と特徴に依存していれば、比較の無作為性は保たれない 。

なお、PythonとRでは乱数生成器が異なるため、同じシード1でも抽出される行や推定値は一致しない。また、抽出によって対象集団そのものも変化するので、RCTとの差をすべて厳密に「バイアスの大きさ」と断定することはできず、効果が人によって違えばATTの変化や偶然の誤差も含まれる。ただし、この操作が比較可能性を壊すことは、抽出の仕組みから説明できる。

さらに、p値が小さくなることと標準誤差が小さくなることは同じではない。平均差そのものが大きくなれば、標準誤差が増えていてもp値は小さくなりうる。

1.4.5 Huluの視聴率の計算をPythonで確認する

hulu_demo = pl.DataFrame({
    "treatment": np.repeat([0, 1], 1000),
    "viewed": np.concatenate([
        np.ones(200), np.zeros(800),
        np.ones(250), np.zeros(750),
    ]),
})
view_result = compare_means(hulu_demo, "viewed")
print("視聴率の差と区間（pp）:", {
    name: round(view_result[name] * 100, 4)
    for name in ["difference", "ci_low", "ci_high"]
})
print("視聴率のp値:", view_result["p"])

平均差は5 ppである。ここでは標本分散とt分布を使うため、手計算の正規近似と区間の末尾がわずかに異なるが、これは計算間違いではない。

1.4.6 公開CSVでの実行結果

上記コードを公開元のCSVに対して実行した結果は次の通りである。購入率は割合のまま表示しており、たとえば0.005726は約0.5726%である。

購買額についてのWelch検定は次の結果となった。

抽出後は元のRCTより平均差が大きく、p値も小さい。しかし、抽出後の高意欲者割合は介入群で約75.98%、対照群で約44.45%となっており、比較している人の構成が大きく異なる。つまり、見かけ上は「より強い証拠」が出ているが、比較の質は落ちているのである。

推定値の変化と、比べている人の中身の変化を並べたのが次の図である。

元のRCTの購入率差は0.006805、すなわち約0.6805 ppで、その95%信頼区間は約0.5000〜0.8610 ppである。一方、Huluの架空例は5 pp、95%信頼区間は約1.3423〜8.6577 pp、p値は約0.00740となった。実際のメール実験とHuluの架空例は、別のデータである。

再現性のため、今回取得したCSVのSHA-256を記す。

0e5893329d8b93cefecc571777672028290ab69865718020c78c7284f291aece

1.5.1 RCTのコストと、比較のために残す対照群

RCTには、モデルの分岐、割当の保存、ログ整備、実験監視、結果を得るまでの時間といったコストがかかる。また、新モデルが有効なら、旧モデル群を残すことで短期的な機会損失も生じうる。一方で、新モデルの効果はまだ不明なのだから、全員へ適用した方が必ず得だとは事前には言えない。

RCTを行うために、「興味のある作品を全部ランダムに推薦する」といった大きな変更が必要なわけではない。たとえば、事前にアニメ視聴者を対象と決め、その人たちの中で新旧モデルをランダムに割り当てれば、その対象集団についてのRCTになる。実験対象と比較対象を丁寧に定義することで、事業上の制約と比較可能性を両立できる。

RCTが難しい場合には、回帰、傾向スコア、DID（差の差法）、RDD（回帰不連続デザイン）などを使う余地がある。しかし、手法が観察データを無条件に実験データへ変えてくれるわけではなく、「誰がなぜ処置を受けるのか」という理解と、その手法に対応する仮定が必要になる。

1.5.2 視聴予測の高さと増分の大きさは違う

推薦やメール施策の担当者が「配信後の視聴数」を最大化しようとすると、もともと視聴しそうな人や作品を選びやすい。この意思決定は自然なものだが、「施策の増分を測る」という目的とは一致しないことがある。

次の確率は、二つのタイプについて設定した仮想的な真値である。

配信後の視聴数だけを見るなら前者（82%）が魅力的に見える。しかし、どちらか100人にしか介入できないとすると、新たに生まれる視聴者数の期待値は、前者なら $100\times0.02=2$ 人、後者なら $100\times0.15=15$ 人である。つまり、視聴率が高い人ほど、推薦の「増分」は小さいことがある。

これは視聴予測モデルが不要という意味ではなく、通常の予測モデルが推定する量（見るかどうか）と、施策による増分効果（推薦したから見るようになったか）は別の量だ、という意味である。増分に応じた配信を目指すuplift modeling（アップリフトモデリング）はこの区別を利用するが、その学習にも比較可能なデータが必要であり、しかもRCTを行っても各個人の効果の正解ラベルが得られるわけではない。

1.5.3 バイアスのある評価は、次のデータも偏らせる

「人気作品を推薦する→多く視聴される→推薦の効果が大きいと判断する→さらに人気作品へ露出を集中する」という更新を繰り返すと、もともとの需要の高さを推薦の手柄と誤認する可能性がある。

暗黙的フィードバック（視聴の有無など、ユーザが明示的に評価しない行動データ）では、未視聴が「嫌い」を意味するとは限らず、作品を知らない、画面に表示されなかった、時間がなかったといった理由もある。露出を絞ると視聴も観測されにくくなり、そのログを学習すると、露出の少ない作品をさらに推薦しにくくすることがある。

そのため、モデル学習用の視聴ログだけでなく、比較のためのランダム割当とその結果を継続的に残すことに価値がある。オフラインのRecallやNDCGが改善しても、それだけでは「そのモデルに替えた結果、視聴が増えた」とは結論できない。

2.1 最初に固定するのは、対象・介入・期間・分母である

集計を始める前に定義を固定するのは、分析の最後に答えが出たとき、「結局どの施策の、何に対する効果だったのか」がぶれないようにするためである。

たとえば、結果を見てから対象をアニメ好きへ絞り、観測期間も7日から3日に変えたとすると、最初に判断したかった「全体展開」の問いからは離れてしまう。しかも、結果がよく見える定義を後から選ぶこと自体が、評価を楽観的にする原因になる。先に決めておけば、データ収集から意思決定まで同じ問いを保てる。

たとえば次のように、実験開始前に一つの問いを固定する。

ここで一つ注意したいのは、対象作品の視聴が増えても、別の作品の視聴を置き換えただけかもしれないという点である。たとえば『名探偵コナン』の視聴が増えた分だけ、他のアニメの視聴が減っているかもしれない。そのため、作品単位の改善とサービス全体への効果は分けて考える必要があり、推薦モデル全体を評価したいなら、「対象シリーズ視聴率」ではなく「全作品の視聴日数」などを主要指標にする設計も考えられる。どちらを採用するかで、答えようとしている因果的な問いそのものが変わる。

もう一つの注意は、介入後にトップページを開いた人や動画を再生した人だけへ分母を絞ってはいけないことである。それは介入によって変わる行動で対象を選ぶことになるからである。もしトップ訪問を参加条件にしたいなら、初回訪問の時点で割り当ててその時点より後を測るというように、介入と参加判定の順序を先に設計しておく。

2.2 割当、表示、視聴を別の変数として持つ

モデルを全対象者へ適用するとき、その対象には推薦を見る人だけでなく、ホームを開かない人も含まれる。したがって、展開した方針全体の成果を判断するには、表示に至らなかった人も含めて結果を見る必要がある。一方で、「表示されればよい結果が出るのに、表示機会が少ない」という改善課題を調べたいこともあり、そのときには表示ログも必要になる。

割当、表示、視聴を分けて持つのは、この二つの目的をそれぞれ検討できるようにするためである。割当は方針全体の因果効果の比較に使い、表示や視聴への移行は結果が生じた経路を理解する材料にする。なお、表示された人だけを比べて因果効果として読みたい場合は、別途その比較を正当化する根拠が必要になる。

具体的に考えると、新モデル群に割り当てても本人がホームを開かなければ推薦は表示されないし、表示されても画面外にあって見られないことや、見られても視聴されないことがある。

割当で比較する分析を ITT（Intention-to-Treat）分析 と呼ぶ。これは、実際に見たかどうかではなく、どちらの群に割り当てたかで比べる分析であり、測っているのは「新モデルへ割り当てるという方針の効果」である。表示された人だけの効果とは対象が異なるが、実際に全対象者へ新モデルを適用するという意思決定には、こちらの方が対応しやすい。

数値で確かめよう。新モデル群1,000人のうち250人が視聴し、そのうち実際の推薦表示を確認できたのが500人で、その中の視聴者が200人だったとする。表示者だけなら視聴率は40%だが、ITTの視聴率は25%である。ここで旧モデル群全体の20%と表示者の40%を比較してしまうと、来訪しやすい人を片側だけに選んでいることになる。

なお、ITTの効果を単純に表示率で割れば「表示自体の因果効果」が得られる、というわけでもない。その解釈には、割当が表示以外の経路では視聴へ影響しないといった追加の仮定が必要になる。

2.3 データカタログとの対応

以下は、ローカルの docs/domain/data_catalog.md と docs/domain/bq_data_definitions/*.csv に基づく設計上の対応であり、実際のBigQueryデータに対する集計結果ではない。

unique_viewed_series は last_viewing_date を持つが、最終視聴日だけを参照しても、過去の任意の実験期間の視聴有無を完全に復元できるとは限らない。実験後に再視聴すると値が更新されるのか、それとも過去のスナップショットを保持しているのかを確認する必要がある。

同じように、日次の series_cnt を7日分足しても、7日間のユニークシリーズ数にはならない。たとえば同じシリーズを月曜と火曜に見れば、日次合計では2になるが週次ユニークでは1である。週次テーブルを使う場合も、カタログ上の週次は前週月曜〜日曜なので、「各人の割当後7日」と期間が一致するかを確認しておく。

確認したカタログには、実験IDとランダムな群割当の履歴を明示する専用テーブルの定義は見当たらなかったため、その存在を仮定して実テーブル名を作ることはしない。分析には、少なくとも次の列を持つ割当台帳を、実際の実験基盤から用意する必要がある。

これらは提案スキーマであり、既存の列名を示すものではない。

2.4 視聴ログから始めず、割当台帳を基準に結合する

0/1指標を作るときには、「0をどこから得るか」が重要になる。視聴イベントのログは視聴が起きたときにだけ行を作るので、ログだけを見ても、視聴しなかった対象者が誰なのかは分からない。一方、割当台帳は、結果が1でも0でも分析に含めるべき対象者を全員持っている。そこで台帳を基準に結合すれば、実験設計で決めた分母を分析表までそのまま引き継げる。これは結合の書き方の好みの問題ではなく、求めたい確率を正しく定義するための操作である。

最終的には、たとえば次のような「1実験・1プロフィールにつき1行」の分析表を作る。

pre_viewing_days は介入前7日間の視聴日数、viewed_7d は介入後7日間の視聴の有無である。作成の手順は次の通りである。

1. 実験開始前に対象条件を決め、対象者の割当を保存する。
2. 視聴イベントを各人の観測期間に絞り、定義した視聴条件に従って0/1へ集計する。
3. 割当台帳を左側にして、集計した視聴結果をLEFT JOINする。
4. ログが完全に取得できており、視聴イベントがないと判断できる行だけを0にする。
5. 実験・プロフィールで1行であることを確認し、群別の人数と平均を計算する。

なぜ台帳から始めるのかを数で確かめると、割当者1,000人のうち視聴者250人だけを視聴ログから抽出した場合、全行が viewed_7d=1 となって視聴率は100%になってしまう。割当台帳から始めて残り750人を含めることで、正しい25%が得られる。

ただし、ログ障害や未到着による欠損は未視聴と同じではないし、期間の途中に実験へ入った人を既に7日間観測した人と混ぜることも避ける。日時はUTCとJSTを統一し、観測窓の境界を明示する。

assignments_demo = pl.DataFrame({
    "profile_id": ["P1", "P2", "P3", "P4", "P5", "P6"],
    "treatment": [0, 0, 0, 1, 1, 1],
})
events_demo = pl.DataFrame({
    "profile_id": ["P1", "P1", "P2", "P4", "P5", "P5"],
    "watched_seconds": [30, 40, 10, 90, 20, 50],
})
viewing_totals = events_demo.group_by("profile_id").agg(
    pl.col("watched_seconds").sum().alias("seconds_7d")
)
analysis_demo = (
    assignments_demo.join(
        viewing_totals, on="profile_id", how="left", validate="1:1"
    )
    # この例では、ログの完全性を確認済みという前提で0にする。
    .with_columns(pl.col("seconds_7d").fill_null(0))
    .with_columns((pl.col("seconds_7d") >= 60).cast(pl.Int8).alias("viewed_7d"))
    .sort("profile_id")
)
joined_summary = (
    analysis_demo.group_by("treatment")
    .agg(pl.len().alias("n"), pl.col("viewed_7d").mean().alias("view_rate"))
    .sort("treatment")
)
print("未視聴者を含む分析表:", analysis_demo)
print("割当者を分母にした視聴率:", joined_summary)
join_difference = (
    joined_summary.filter(pl.col("treatment") == 1).get_column("view_rate").item()
    - joined_summary.filter(pl.col("treatment") == 0).get_column("view_rate").item()
)
print("視聴率差（pp）:", 100 * join_difference)

2.5 割当単位に合わせて不確実性を評価する

標準誤差を小さくするために必要なのは、行数を増やすことではなく、結果の揺れについて新しい情報を得ることである。たとえば同じ人のイベントを細かく分割しても、その人が視聴しやすいという共通の要因は残るので、行の数を独立な対象者数と見なすと、実際より多くの情報を持っているかのように計算してしまう。割当単位や共有される行動に合わせて集計・推論するのは、証拠の量を過大に数えないためである。

言い換えると、一人が100回再生したとしても、それを100人分の独立した実験と扱うことはできない。プロフィール単位で割り当てたなら、まずプロフィール単位で集計するのが出発点になる。

家族で一つのテレビを使い、同じホーム画面を見ている場合のように、同一アカウント内で推薦結果や行動が共有されるなら、アカウント単位の割当が候補になる。その場合、推論もアカウント単位の集計や、クラスタ頑健標準誤差（同じアカウント内の相関を許して計算する標準誤差）などに対応させる。アカウント単位で割り当てたのにプロフィールをすべて独立としてt検定すると、精度を過大評価するおそれがある。

なお、アカウント平均を単純に平均する場合と全プロフィールの平均を求める場合では、プロフィール数の多いアカウントへの重みが異なるので、どちらを主要な効果とするかも事前に決める必要がある。

3.1 層別無作為化：重要な事前特徴の偏りを抑える

通常の無作為割当でも繰り返しの平均では偏りはないが、今から一度だけ行う実験でヘビーユーザが片側へ多く入ることはあり、その偶然の差が小さなモデル改善を見えにくくする。視聴量を強く左右する特徴が事前に分かっているなら、各タイプ（層）の中で割り当てることで、この偶然の不均衡をあらかじめ抑えられる。これが 層別無作為化 であり、まずユーザをタイプ別に分け、そのタイプの中でくじ引きをする方法だと考えればよい。層別化は、このように実験を始める前から比較の精度を高めるために行う。

その後に層の重みを掛けるのは、ライト層とヘビー層を何人ずつ含む対象集団の平均なのかを再構成するためである。層内の効果を求めただけでは、「全体でどれだけ増えるか」という問いへの答えはまだ完成していない。

たとえば、介入前の視聴日数でライト層とヘビー層に分け、各層の中で新旧モデルを無作為に割り当てれば、片方の群にヘビー層が偶然多く入ることを抑えられる。

全体の効果は、対象母集団での層の割合に従って、層内の効果を平均する。

層ごとに新旧モデルの平均差を出し、その層が対象集団に占める割合を掛けて全部足す、という計算である。 $h$ は層、 $w_h$ は対象母集団における層の割合であり、合計が1になる。たとえばライト層が60%で効果8 pp、ヘビー層が40%で効果2 ppなら、全体の効果は次である。

ここで注意したいのは、各層で介入確率を変えると介入群と対照群の層構成が異なりうることで、その場合は全員をひとまとめにした単純平均差へ戻さず、設計に対応した重み付けを行う。また、介入後の視聴量で層を作ると、処置によって変化した特徴で条件付けることになるため、層別化には介入前の特徴を使う。

3.2 CUPED：介入前の行動から説明できる変動を減らす

RCTの結果が不確かなら人数や期間を増やす方法があるが、結果を待つ時間が長くなり、実験を続けるコストもかかる。そこで、同じ人数からもっと精密に効果を測るために、すでに持っている事前の視聴履歴を使えないかと考える。

たとえば「新モデル群は実験前から平均視聴日数が少し多かった」という情報があれば、実験中の差の一部はその偶然の偏りで説明できそうだと分かる。その説明できる部分を調整し、モデル変更による小さな差を捉えやすくするのがCUPEDの動機である。ここでは順序が大事で、 まず無作為化で比較の根拠を作り、そのうえで事前情報を使って推定の揺れを減らす 、ということになる。

Huluでは、もともとよく視聴する人ほど実験期間にも視聴しやすいと考えられる。その事前情報を利用して、群間の偶然の偏りが推定値へ与える影響を減らす方法がCUPED（Controlled-experiment Using Pre-Experiment Data）であり、つまり実験前の行動データを使って推定値の揺れを小さくする方法である。介入前データを使う分散削減手法として提案された。CUPEDの原論文：Deng et al. (2013)

介入前の指標を $X_i$ として、調整後のアウトカムを次で定義する。

これは、その人の結果から、事前の視聴が平均よりどれだけ多かったか（少なかったか）に応じた分を差し引く操作である。 $\mu_X$ は共通の基準平均、 $\theta$ は $X$ と $Y$ の関係の強さを表す係数であり、この調整を両群に同じ係数で適用すると、平均差は次になる。

つまり、実験中の平均差から、事前指標の平均差に係数を掛けた分を引いている。新モデル群が偶然「介入前からよく見る人の多い群」になっていた場合、その差から説明できる部分を引くわけである。無作為化されたRCTでは事前特徴の群間差は期待値でゼロなので、固定した係数による調整は、平均効果を保ちながら変動を減らすことができる。

式の中で共通平均を引くのは、「平均的な人と比べて事前の視聴がどれだけ多いか」というずれだけを調整に使うためである。実験全体の標本平均を共通基準にすれば、事前のずれの合計はゼロになる。なお、群間差だけを計算すると共通基準は相殺されるが、それでも全員に同じ基準を使うことが大切である。

ここで注意したいのは、各群の $X$ をそれぞれの群平均で中心化してはいけないことである。そうすると各群内で調整量の平均がゼロになって群平均の差は全く変わらず、補正したかった「新モデル群の事前平均が高い」という情報まで消えてしまう。

また、係数を掛けるのは、事前の視聴日数をアウトカムの単位へ換算するためである。「1日多いことが視聴確率の何ポイント分に対応するか」を決めずに、日数を視聴率から直接引くことはできない。共分散を分散で割る係数は、この換算を、線形調整の分散が最小になるように選ぶ方法である。

数値例 で確かめよう。実験中の視聴率が旧モデル20%、新モデル25%で、介入前の平均視聴日数は旧モデル2.0日、新モデル2.2日だったとする。さらに、過去の別データから $\theta=0.03$ 、つまり事前視聴が1日多いと実験中の視聴確率がおおよそ3 pp高いという関係を得ているとする。

観測した差5 ppから、新モデル群が事前に0.2日多く見ていた分の0.6 ppを引くので、調整後の推定値は4.4 ppになる。この例では調整後の推定値が小さくなったが、逆方向の事前の偏りなら、調整後の推定値は大きくなる。

単一の確率変数 $Y$ の分散を線形調整で最小化する係数は次である。

分子は $X$ と $Y$ が一緒に動く度合い、分母は $X$ 自身の散らばりであり、これは次の分散を $\theta$ で微分してゼロにすることで得られる。

最適係数を代入すると、次になる。

調整後の分散は、元の分散に $(1-\rho^2)$ を掛けたものになる。 $\rho$ は $X$ と $Y$ の相関係数で、相関が0.6なら分散は元の64%、標準偏差は80%になる。群ごとの関係が近いなどの条件のもとでは平均差の標準誤差も同様に小さくなるので、同じ精度に必要な人数を減らせる。ただし、処置群と対照群で共分散構造が違う場合や不均等割当の場合には、平均差の分散を最小化する係数を単純な全体共分散から決めてよいとは限らないので注意がいる。実装上の論点：Microsoft, Deep Dive Into Variance Reduction

相関の強さと分散の減り方の関係は、次の曲線で表せる。

rng_cuped = np.random.default_rng(2026)
size = 20_000
pre_days = rng_cuped.integers(0, 8, size=size)
treatment = np.repeat([0, 1], size // 2)
rng_cuped.shuffle(treatment)
view_probability = 0.10 + 0.06 * pre_days + 0.03 * treatment
viewed = rng_cuped.binomial(1, view_probability)

cuped_demo = pl.DataFrame({
    "treatment": treatment,
    "pre_days": pre_days,
    "viewed": viewed,
})
# 教育用に、過去の別データで固定した係数として設定する。
theta_fixed = 0.06
cuped_demo = cuped_demo.with_columns(
    (
        pl.col("viewed")
        - theta_fixed * (pl.col("pre_days") - pl.col("pre_days").mean())
    ).alias("viewed_adj")
)
print("CUPED前:", compare_means(cuped_demo, "viewed"))
print("CUPED後:", compare_means(cuped_demo, "viewed_adj"))

3.3 必要人数を先に考える：検出力とMDE

実験終了後に「有意ではなかった」と分かっても、そもそも検出したかった改善を捉えられない人数で始めていたなら、モデルが役に立つかという問いには答えられない。たとえば事業上は1 ppの改善に価値があるのに、5 ppほどの差しか検出しにくい設計だったなら、有用なモデルを見逃しやすい。必要人数を先に考えるのは、実験に使う時間と対象者数を、判断したい効果の大きさに合わせるためである。

有意差が出なかったとき、「十分に小さい効果しかない」のか、それとも「人数が足りず分からなかった」のかを区別するには、実験前の検出力設計が役立つ。

検出力 は、ある大きさの効果が本当にあるとき、設定した検定が帰無仮説を棄却できる確率、言い換えると本当に効果があるときにそれを「ある」と言える確率である。 MDE（Minimum Detectable Effect、最小検出可能効果） は、設定した有意水準・検出力・人数で検出したい最小の効果幅を指す。これは事業上価値のある最小効果とは別のものなので、両者は別途すり合わせる必要がある。

基準視聴率 $p$ 、検出したい差 $\delta$ 、各群同人数の近似では、各群の必要人数は次で概算できる。

結果のばらつきが大きいほど、また検出したい差が小さいほど、必要な人数は増える。 $\alpha$ は有意水準、 $1-\beta$ は検出力、 $z_q$ は標準正規分布の $q$ 分位点である。基準視聴率20%、検出したい差2 pp、両側5%検定、検出力80%なら、次の程度になる。

各群約6,300人、合計約12,600人が目安である。ここで検出したい差を1 ppへ半減させると、分母が4分の1になるので必要人数は約4倍になり、小さい差を測ることの難しさが分かる。実際の設計では、処置群の比率、クラスタ内相関、欠測、複数指標などを反映させるため、この式だけで確定はしない。

3.4 途中確認と多重比較を設計に含める

実験を運用していると、良い結果が出たら早く展開したくなるし、全体で差がなければ効果のありそうなセグメントを探したくなる。どちらも自然な行動だが、判定する機会を増やすと、偶然よく見える結果を拾う機会も増える。そのため、一回の検定だけを考えるのでは足りず、 結果を見てから何を選び、いつ判断を止めるかという手続き全体 を考える必要がある。逐次検定（途中で何度も判定することを前提にした検定）や多重比較の調整は、その手続きのもとでも誤判定を管理するために導入する。

たとえば、通常の固定標本のp値を毎日見て、5%未満になった最初の日に終了すると、予定した偽陽性率を維持できない場合がある。途中の安全監視は必要だが、成功判定は事前に決めた期間・人数で行うか、途中終了に対応する逐次検定を設計する。Johari et al., Always Valid Inference

また、独立な20指標について、すべて効果ゼロなのに各々5%水準で検定すると、少なくとも一つが有意になる確率は次になる。

これは20個すべてが有意にならない確率を1から引いたものである。実際の指標は互いに相関するので64.2%がそのまま当てはまるわけではないが、それでも「たくさん見れば何かは当たる」ことが分かる。したがって、主要指標を先に定め、確認的に判断する複数の検定にはHolm法などの調整を検討し、探索的に見つけたセグメント差は別の実験で確認する。Holm (1979), A Simple Sequentially Rejective Multiple Test Procedure

指標の数を増やしたとき、「何かが有意になる確率」がどう増えるかを次の図に示す。

3.5 手法ごとに改善する対象が違う

第1章の平均差は単純な計算だが、その単純さを支えているのは実験の設計である。高度な推薦モデルや推定手法を使う場合も、出発点は同じで、「誰の、どの二つの世界を比較しているか」を明示するところから始まる。

問1：表示者の視聴率が高ければ、表示の効果か

推薦を実際に見た人の視聴率が40%、見ていない人が10%だった。表示の効果は30 ppと言えるか。

解答 ：それだけでは言えない。ホームへよく訪問する人ほど推薦を見やすく、しかも視聴もしやすいかもしれないからである。したがって、ランダムに割り当てた群の比較なのか、それとも後から表示の有無で分けた比較なのかを確認する必要がある。

問2：選択バイアス項がゼロなら、必ずATEか

$E[Y(0)\mid T=1]=E[Y(0)\mid T=0]$ が成り立つとき、単純平均差は必ずATEになるか。

解答 ：一般にはATTになる。効果が人によって違い、効果の大きい人に介入が集中していれば、ATTとATEは違う値になる。ATEと一致するには、効果の大きさによる選択もないことなどが必要である。

問3：有意差が出ないのは効果ゼロの証明か

視聴率の差の推定値が1 pp、95%信頼区間が -3〜5 ppだった。効果なしと結論してよいか。

解答 ：よくない。この区間には意味のある改善も悪化も含まれており、十分な精度で小さな差に絞れた状態ではない。「実質的に差がない」ことを示したいなら、許容する差の範囲を定義し、同等性の問題として扱う。

問4：視聴ログにない人は分析から外してよいか

割当者1万人のうち視聴ログがあるのは2,500人だった。2,500人だけで視聴率を計算してよいか。

解答 ：よくない。ログが完全なら、残り7,500人の未視聴も含めて25%と計算する。ただし、ログ欠損や未到着を確認せずに、記録がないことをすべて未視聴と扱ってはいけない。