19.2 確率変数の独立

事象に対して考えた独立という概念は確率変数に対しても考えることができる。

定義

確率変数 \(R_{1}\), \(R_{2}\) が独立 (independent) とは、全ての結果 \(x_{1}\), \(x_{2}\) に対して事象 [\(R_{1} = x_{1}\)] と事象 [\(R_{2} = x_{2}\)] が独立なことを意味する。

例えば、前節で考えた確率変数 \(C\), \(M\) は独立だろうか？直感的には独立でないと考えられる: \(C\) の値が分かれば \(3\) 枚のコインが同じ向きかどうか、つまり \(M = 1\) かどうかも判明する。この結論を証明するには、次の条件を満たす \(x_{1}, x_{2} \in \mathbb{R}\) を見つける必要がある:

\[ \operatorname{Pr}[C = x_{1} \ \operatorname{\text{\footnotesize AND}} \ M = x_{2}] \neq \operatorname{Pr}[C = x_{1}] \cdot \operatorname{Pr}[M = x_{2}] \]

例えば \(x_{1} = 2\) および \(x_{2} = 1\) とすれば、次の関係を得る:

\[ \operatorname{Pr}[C = 2 \ \operatorname{\text{\footnotesize AND}} \ M = 1] = 0 \neq \frac{1}{4} \cdot \frac{3}{8} = \operatorname{Pr}[C = 2] \cdot \operatorname{Pr}[M = 1] \]

左側の確率は、表を向いたコインが \(2\) 枚 (\(C = 2\)) のとき \(3\) 枚のコインの向きは必ず揃わない (\(M = 0\)) ことから分かる。右側の確率は以前に求めた。

一方で、最初に投げたコインが表である事象に対応する指示確率変数を \(H_{1}\) とする。このとき次の等式が成り立つ:

\[ \text{[\(H_{1} = 1\)]} = \left\{ \texttt{HHH},\ \texttt{HHT},\ \texttt{HTH},\ \texttt{HTT} \right\} \]

ここから次の等式が成り立ち、\(H_{1}\) と \(M\) は独立だと分かる:

\[ \begin{aligned} \operatorname{Pr}[M = 1] &= 1/4 = \operatorname{Pr}[M = 1 \, | \, H_{1} = 1] = \operatorname{Pr} [M = 1 \, | \, H_{1} = 0] \\ \operatorname{Pr}[M = 0] &= 1/4 = \operatorname{Pr}[M = 0 \, | \, H_{1} = 1] = \operatorname{Pr} [M = 0 \, | \, H_{1} = 0] \\ \end{aligned} \]

この事実を一般化すると次の補題となる:

補題 19.2.1

二つの事象 \(E\), \(S\) に対して、「\(E\) と \(S\) が独立」と「\(E\) に対応する指示確率変数と \(S\) に関する指示確率変数が独立」は同値である。

簡単な証明は練習問題 (問題 19.1) とする。

直感的に言えば、二つの確率変数の独立性は一方の確率変数に関する情報がもう一方の確率変数に関する情報を全くもたらさないことを意味する。「確率変数に関する情報」を確率変数の終域を始域とする関数の値と解釈すれば、この性質は「独立な関数変数は関数を適用しても独立」と表現できる:

補題 19.2.2

\(R\), \(S\) を独立な確率変数とする。関数 \(f\), \(g\) が \(\operatorname{domain}(f) = \operatorname{codomain}(R)\) と \(\operatorname{domain}(g) = \text{codomain}(S)\) を満たすなら、\(f(R)\) と \(g(S)\) は確率変数として独立である。

この補題の証明も簡単なので練習問題 (問題 19.36) とする。

事象と同様に、確率変数でも独立の概念は \(3\) 個以上の確率変数に対して自然に拡張される:

定義 19.2.3

\(R_{1}\), \(R_{2}\), \(\ldots\), \(R_{n}\) を確率変数とする。全ての \(x_{1}\), \(x_{2}\), \(\ldots\), \(x_{n}\) に対して、\(n\) 個の事象

\[ [R_{1} = x_{1}],\ [R_{2} = x_{2}],\ \ldots,\ [R_{n} = x_{n}] \]

が相互独立のとき、\(R_{1}\), \(R_{2}\), \(\ldots\), \(R_{n}\) は相互独立 (mutually independent) と言う。確率変数 \(R_{1}\), \(R_{2}\), \(\ldots\), \(R_{n}\) が \(k\) 次独立 (\(k\)-way independent) とは、その中から任意の \(k\) 個の確率変数を取った集合が相互独立であることを意味する。

補題 19.2.1 と補題 19.2.2 は \(k\) 次独立な \(3\) 個以上の確率変数に対して自然に拡張できる。