実践編：Huluで特定デバイスだけに施策を入れたときの効果検証（profile_id × 時間のログからDIDを組む）

介入後の行動で群を決めてはいけない

素朴に考えると、「介入後にFire TVで見た週」を介入あり、「それ以外の週」を介入なしとして比べたくなる。しかしこれは、 介入のあとに決まる行動（どのデバイスで見たか）で群を分けている ので、第2章で学んだPost treatment biasそのものである。

なぜ問題になるのか。介入後にFire TVを使う人には、「もともとFire TVを使っていた人」に加えて、「介入後にFire TVを使い始めた人」が混ざる。後者は、たとえば新しいテレビを買った人であり、テレビを買い替えた直後は施策と無関係に視聴が増える。あるいは、新ホームが話題になって「試しにFire TVで見てみた」ヘビーユーザかもしれない。いずれにせよ、介入後にFire TVへ移った人は、 施策とは別の理由で視聴が変化している最中の人 に偏る。この人たちを介入群に入れると、その変化が施策の効果に混ざる。

架空データで確かめる。介入後にFire TVを使った週と使わなかった週の平均視聴分数を素朴に比べると、79.7分と62.6分で17分の差がある。しかし、これは大部分が「Fire TVを使う人はもともとよく見る人だ」という差である。さらに、介入後の主デバイスで群を決め直してDIDを行うと、効果は9.86分と推定される。一方で、介入前の主デバイスで群を決めたDIDは5.49分である。差の原因を探ると、介入前はAndroid TV群だったのに介入後にFire TVが主デバイスになったプロフィールが56人おり、その人たちの介入前の平均視聴分数は149分と、全体平均の60分の2.5倍であった。 もともとのヘビーユーザが、介入後にたまたまFire TVへ移ってきて、その変化ごと介入群に数えられた のである。

介入前の主デバイスで群を固定する

したがって、群は 介入前の期間のログだけを見て 決める。手順は次である。

1. 介入前8週のログから、プロフィールごと・デバイスごとに「そのデバイスでログが残った週数」を数える。
2. 週数が最大のデバイスを、そのプロフィールの主デバイスとする。
3. 主デバイスがFire TVなら介入群、比較対象のデバイス（ここではAndroid TV）なら非介入群とする。それ以外（スマホが主など）は今回の分析から外す。
4. 一度決めた群は、介入後にデバイスを乗り換えても変えない。

4番目が肝心である。介入後にFire TVへ乗り換えた人は、実際には新ホームを見ているのに非介入群に残る。これは非介入群を「汚染」し、効果をやや小さく見せる（9節で確認する）。しかし、乗り換えを理由に群を動かすと上で見た大きなバイアスが入るので、 小さな過小評価を受け入れて、群は動かさない のが正しい判断である。

架空データでは、介入前にログがあった6,000プロフィールのうち、Fire TVが主デバイスの2,990人と、Android TVが主デバイスの2,992人が分析対象になった。主デバイスの利用割合（そのデバイスでログが残った週の割合）は両群とも約85%で、残りはスマホなど他のデバイスで見ている。

ほかに決めておくこと

比較対象のデバイス 。Android TVを選んだ理由は「同じテレビ画面で、同じ利用文脈（リビングで、家族で、長時間）」だからである。スマホは利用文脈が違い、トレンドが平行である根拠が薄い。テレビ系デバイスが複数あるなら（Apple TV、ゲーム機、スマートテレビ内蔵アプリ）、介入前のトレンドがもっとも近いものを選ぶか、複数を非介入群として使い、それぞれの結果を併記する。

分析に含めるプロフィール 。介入前8週の少なくとも1週にログがあるプロフィールに限る（介入前の情報がないと群を決められない）。介入後に新規登録したプロフィールは、別のコホートとして扱うか、今回は外す。キッズプロフィールは、キッズ向けホームが別なら外す。

離脱の扱い 。介入後にログがなくなったプロフィールは、分析から外すのではなく、 視聴0として残す 。外すと「残った人」だけの比較になり、施策が離脱を増やしたり減らしたりした効果が消えてしまう。

BigQueryでの集計

視聴イベントは hj-data-01.report.content_viewing に、プロフィール・視聴開始時刻・視聴秒数・デバイス分類（ device_low_category ）とともに記録されている。ここから、プロフィール × 週 × デバイスの粒度まで落とした表を作る。イベント単位の36億行をローカルに持ってくる必要はなく、集計はBigQuery側で済ませる。

-- 介入前 8 週〜介入後 4 週の視聴を、profile × 週 × デバイス に集計する
DECLARE rollout_date DATE DEFAULT DATE '2026-06-01';   -- Fire TV への配信日（架空）

WITH base AS (
  SELECT
    profile_id,
    device_low_category                                   AS device_used,
    -- 配信日を週 0 の始まりとして、週番号を振る（負が介入前）
    DIV(DATE_DIFF(date, rollout_date, DAY) - IF(date < rollout_date, 6, 0), 7) AS week,
    watched_seconds,
    series_id
  FROM `hj-data-01.report.content_viewing`
  WHERE _PARTITIONDATE BETWEEN DATE_SUB(rollout_date, INTERVAL 56 DAY)
                           AND DATE_ADD(rollout_date, INTERVAL 27 DAY)
    AND account_status IN ('paid', 'promo', 'pending')    -- 視聴可能な会員のみ
)
SELECT
  profile_id,
  week,
  device_used,
  SUM(watched_seconds) / 60.0                              AS minutes,
  COUNT(DISTINCT series_id)                                AS series_cnt,
  1                                                        AS any_view
FROM base
GROUP BY profile_id, week, device_used

出力は「その週にそのデバイスで何か見た」行だけを持つ。見なかった週の行は存在しないので、次の段階で0を埋める。プロフィール属性（キッズか、契約継続か）は personalize.daily_personalize_viewing_kpi の is_kids や keizoku_flag を介入前の日付で結合して取る。

Polarsでの群の固定とパネルの構築

BigQueryから落とした表を panel とする。列は profile_id 、 week 、 device_used 、 minutes 、 any_view である。

import numpy as np
import polars as pl

WEEKS = np.arange(-8, 4)  # -8..-1 が介入前、0..3 が介入後


def assign_groups(panel: pl.DataFrame) -> pl.DataFrame:
    """介入前 8 週のログだけを見て、各プロフィールの主デバイスを決める。"""
    pre = panel.filter(pl.col("week") < 0)
    usage = (
        pre.group_by("profile_id", "device_used")
        .agg(pl.len().alias("pre_weeks"))          # そのデバイスでログが残った週数
        # 同数のときはデバイス名で決める（並べ替えを決定的にして、実行ごとに群が変わらないようにする）
        .sort("profile_id", "pre_weeks", "device_used", descending=[False, True, False], maintain_order=True)
    )
    primary = usage.group_by("profile_id", maintain_order=True).first()
    return (
        primary.filter(pl.col("device_used").is_in(["fire_tv", "android_tv"]))
        .with_columns(
            group=pl.col("device_used"),
            treat=(pl.col("device_used") == "fire_tv").cast(pl.Int64),
        )
        .select("profile_id", "group", "treat")
    )


def build_balanced_panel(panel: pl.DataFrame, cohort: pl.DataFrame) -> pl.DataFrame:
    """profile × 週 の完全な格子を作り、ログのない週は 0 で埋める。"""
    weekly = panel.group_by("profile_id", "week").agg(pl.col("minutes").sum(), pl.col("any_view").max())
    grid = cohort.join(pl.DataFrame({"week": WEEKS}), how="cross")   # 全プロフィール × 全週
    return (
        grid.join(weekly, on=["profile_id", "week"], how="left")
        .with_columns(
            pl.col("minutes").fill_null(0.0),
            pl.col("any_view").fill_null(0),
            post=(pl.col("week") >= 0).cast(pl.Int64),
        )
        .with_columns(
            D=pl.col("treat") * pl.col("post"),          # 介入を受けた観測 = 介入群 × 介入後
            log_minutes=(pl.col("minutes") + 1).log(),
        )
        .sort("profile_id", "week")
    )

cross 結合で「全プロフィール × 全週」の格子を作ってから左結合するのが、離脱を0で埋めるための要点である。架空データでは、5,982プロフィール × 12週 = 71,784行のバランスしたパネルになる。 D 列が第4章の $G_i \times P_i$ 、すなわち介入変数である。

イベントスタディ：差の変化を区間つきで見る

「差の変化」を、介入直前の週（週 −1）を基準に、標準誤差つきで並べたものがイベントスタディである。各プロフィールについて「その週の値 − 週 −1 の値」を作り、その群間の平均の差をとる。標準誤差は、プロフィール単位で独立と見なした2標本の計算である。

def event_study(bal: pl.DataFrame, outcome: str, ref_week: int = -1) -> pl.DataFrame:
    ref = bal.filter(pl.col("week") == ref_week).select("profile_id", pl.col(outcome).alias("y_ref"))
    diff = bal.join(ref, on="profile_id").with_columns(dy=pl.col(outcome) - pl.col("y_ref"))
    rows = []
    for w in WEEKS:
        sub = diff.filter(pl.col("week") == w)
        a = sub.filter(pl.col("treat") == 1).get_column("dy").to_numpy()
        b = sub.filter(pl.col("treat") == 0).get_column("dy").to_numpy()
        se = np.sqrt(a.var(ddof=1) / len(a) + b.var(ddof=1) / len(b)) if w != ref_week else 0.0
        rows.append({"week": int(w), "estimate": float(a.mean() - b.mean()), "se": float(se)})
    return pl.DataFrame(rows)

介入前の7つの推定値は、週 −8 を除いて95%区間に0を含む。週 −8 だけが有意に負だが、7回検定すれば1回程度は偶然で有意になる。「介入前に明確なトレンドの乖離はない」と言ってよいが、「完全に平行」とも言えない。介入後は、週0に明確な正の効果があり、週を追うごとに小さくなっている。 4週の平均だけを報告すると、この「効果の減衰」が見えなくなる 。イベントスタディの表は必ず報告に含める。

2×2の集計

まず第4章の基本形、群 × 前後の4つの平均を作る。

新ホームは、Fire TVを主デバイスにしていたプロフィールの週あたり視聴分数を、介入後4週の平均で5.5分増やしたと推定される。介入前の水準64.8分に対して +8.5% である。Android TVでも3.3分増えており、Fire TVの前後比較（+8.8分）のうち3.3分は施策と無関係な共通の増加であった。

同じ表を他の指標でも作る。

なぜ回帰で行うのか：標準誤差と拡張のため

4つの平均の引き算で推定値は出るが、 その推定値がどれくらい不確かか は、プロフィール単位のばらつきを使って計算しなければ分からない。そこで第4章4.1.4と同じく回帰の形にする。ただし、ここではプロフィール × 週のパネルなので、グループダミー $G_i$ の代わりに プロフィールごとの固定効果 $\alpha_i$ を、介入後ダミー $P_t$ の代わりに 週ごとの固定効果 $\lambda_t$ を入れる。

• $\alpha_i$ はプロフィール $i$ の「地力」である。毎週100分見る人と、月に1回見る人の水準の差をすべて吸収する。第4章のJohn Snowの分析で地区ダミーを入れたことに対応し、推定値は変えずに標準誤差を小さくする。
• $\lambda_t$ は週 $t$ の共通の効果である。連休や人気作の配信による両群共通の変化を吸収する。
• $D_{it}$ は「介入群かつ介入後」で1になる介入変数、 $\tau$ が求めたい効果である。

この形は 二方向固定効果（two-way fixed effects、TWFE）モデル と呼ばれる。パネルがバランスしている（全プロフィールが全週の行を持つ）場合、 $\hat\tau$ は2×2の集計のDIDと ぴったり一致 する。だから回帰は新しい推定値を出すためではなく、同じ推定値に標準誤差をつけ、あとで共変量や複数の対照群に拡張するために使う。

実装：二方向のwithin変換

プロフィール数が数千〜数百万になると、プロフィールダミーを列として持つ計画行列は作れない。代わりに、 各変数からプロフィール平均と週平均を引く（within変換）と、固定効果を消した上で $\tau$ だけを1変数の回帰で求められる。バランスしたパネルでは次の変換が固定効果を正確に消す。

$\bar{Y}_{i\cdot}$ はプロフィール $i$ の全週の平均、 $\bar{Y}_{\cdot t}$ は週 $t$ の全プロフィールの平均、 $\bar{Y}_{\cdot\cdot}$ は全体の平均である。 $D_{it}$ にも同じ変換を施し、 $\tilde{Y}$ を $\tilde{D}$ に回帰した係数が $\hat\tau$ になる。

def twfe_did(bal: pl.DataFrame, outcome: str) -> dict[str, float]:
    """Y_it = a_i + l_t + tau D_it + e_it を二方向 within 変換で推定し、プロフィールでクラスター化した SE を返す。"""
    n_i = bal.get_column("profile_id").n_unique()
    n_t = bal.get_column("week").n_unique()
    y = bal.get_column(outcome).to_numpy().astype(float).reshape(n_i, n_t)   # 行 = プロフィール、列 = 週
    d = bal.get_column("D").to_numpy().astype(float).reshape(n_i, n_t)

    def within(m: np.ndarray) -> np.ndarray:
        return m - m.mean(axis=1, keepdims=True) - m.mean(axis=0, keepdims=True) + m.mean()

    y_w, d_w = within(y), within(d)
    tau = float((d_w * y_w).sum() / (d_w**2).sum())
    resid = y_w - tau * d_w
    # クラスター（プロフィール）ごとにスコアを合計してから 2 乗する
    score_by_profile = (d_w * resid).sum(axis=1)
    var = (score_by_profile**2).sum() / (d_w**2).sum() ** 2 * (n_i / (n_i - 1))
    return {"tau": tau, "se_cluster": float(np.sqrt(var))}

結果

視聴分数への効果は統計的に有意で、規模は介入前水準の8%程度である。一方、「何か見た割合」への効果は1ポイント程度で有意ではない。この組み合わせは、 新ホームは新たに見始める人を増やしたのではなく、すでに見ている人の視聴時間を伸ばした という解釈を示唆する。トレイ経由の再生率を副指標として持っていれば、この解釈をさらに裏づけられる。

尺度の選び方

同じ効果が、分数では +8.5%、対数では +10.7% と違う数字になる。第4章4.1.3で見た「実数か比率か」の問題である。両群の水準が違う（Fire TVの方が15%ほど多く見る）とき、連休のような共通ショックは分数の差では平行にならず、比率の差では平行になる。すると分数のDIDにはトレンドの乖離が混ざり、対数のDIDの方が仮定に合う。一方、対数は「0分の週」をどう扱うかに恣意性がある（ここでは $\log(1+x)$ ）。 どの尺度でも結論の方向が同じであることを確認し、報告では主指標を一つ決めて他を併記する のが実務的な落としどころである。

プロフィールでクラスター化する理由

同じプロフィールの12週分の観測は互いに似ている（先週100分見た人は今週も見る）。第4章4.1.5の自己相関である。観測を独立と仮定した標準誤差は1.42だが、プロフィールでクラスター化すると1.55に増える。この例では差は小さいが、週数が長くなるほど、独立を仮定した標準誤差の過小評価は大きくなる。 パネルデータのDIDでは、個体（プロフィール）でクラスター化した標準誤差を既定にする。

クラスター標準誤差が答えていない問い

ここで、正直に限界を述べる必要がある。プロフィールでクラスター化した標準誤差は、「プロフィールを別のサンプルに取り替えたら推定値がどれだけ変わるか」を測っている。しかし、この分析で本当に怖いのは別の種類の不確かさである。 「介入と同じ週に、Fire TVだけに起きた別の出来事」 である。たとえばFire TVアプリの別の改修、Amazon側のFire TVキャンペーン、Fire TVのOS更新による不具合などは、Fire TVの全プロフィールに同じ方向に働く。これは「デバイス × 週」の単位で起きるショックであり、プロフィールを何万人集めても平均されて消えない。

第4章4.1.5の言葉で言えば、本来クラスター化すべき単位は「デバイス」である。しかしデバイスは2つしかなく、介入されたデバイスは1つしかないので、デバイスでクラスター化した標準誤差は計算できないか、計算できても信頼できない。 プロフィールでクラスター化した標準誤差と p 値は、「デバイス × 週のショックが介入以外に存在しない」という仮定のもとでの値 であり、その仮定こそが平行トレンド仮定である。

時間方向のプラセボ検定：介入前にも「効果」が出るか

デバイス × 週のショックの大きさを推し量る実務的な方法が、 介入前のデータだけで架空の介入を置いてDIDを繰り返す ことである。効果はゼロのはずなので、出てきた数字は「介入がなくてもDIDが出してしまう値」の目安になる。

def placebo_in_time(bal: pl.DataFrame, outcome: str) -> pl.DataFrame:
    pre = bal.filter(pl.col("week") < 0)
    rows = []
    for fake_start in range(-6, 0):
        fake = pre.with_columns(post=(pl.col("week") >= fake_start).cast(pl.Int64))
        fake = fake.with_columns(D=pl.col("treat") * pl.col("post"))
        r = twfe_did(fake, outcome)
        rows.append({"fake_start_week": fake_start, "tau": r["tau"], "se_cluster": r["se_cluster"]})
    return pl.DataFrame(rows)

介入がないはずの期間でも、DIDは2〜4分の「効果」を出している。すべて正であり、介入前に両群の差がゆるやかに広がっていたことを示す（4節の表でも差が4分から10分へ広がっていた）。これは二つのことを意味する。

• 本物の推定値5.5分は、プラセボの最大値3.9分を上回っているが、圧倒的な差ではない。 「5.5分のうち2〜3分は、介入と無関係な差の広がりかもしれない」 と読むのが誠実である。
• プロフィールでクラスター化したp値（0.0004）が示す確信の強さは、この不確かさを含んでいない。報告では、p値と並べてプラセボ検定の結果を必ず示す。

効果の異質性

介入前の視聴量の中央値でヘビー層とライト層に分け、それぞれでDIDを行う。分割の基準は 介入前の情報だけ で作る（介入後の視聴量で分けると、効果そのもので群が決まってしまう）。

分数ではヘビー層の方が大きいが、比率ではライト層の方が大きい。「もともとあまり見ない人の視聴を2割伸ばした」という読み方と、「視聴時間の増分の多くはヘビー層から来ている」という読み方の両方が成り立つ。どちらを強調するかは施策の目的（離脱防止か、総視聴時間か）で決める。

効果の持続

4節のイベントスタディで見た通り、介入後の効果は週0の8.8分から週3の0.2分へ減っている。新ホームの「見た目が変わった」ことによる一時的な探索行動が、4週目にはほぼ消えている可能性がある。 4週平均の5.5分を「この施策の効果」として全デバイス展開の意思決定に使うのは危険 で、少なくとも8〜12週の追跡を提案する。