本記事では、確率において基本的な量である期待値と分散についてまとめる。
概要
期待値
離散確率変数\(X\)が\(X=x\)となる確率が確率関数\(f(x)\)で与えられる(\(X\)が離散型確率分布に従う)とき、\(X\)の期待値\(E[X]\)は次式で定義される。
期待値(離散型確率分布)
\begin{gather}
E[X]=\sum_{x}xf(x) \label{離散型期待値}\tag{1}
\end{gather}
連続確率変数\(X\)が\(X=x\)となる確率が確率密度関数\(f(x)\)で与えられる(\(X\)が連続型確率分布に従う)とき、期待値\(E[X]\)は次式で定義される。
期待値(連続型確率分布)
\begin{gather}
E[X]=\int_{-\infty}^{\infty} xf(x)dx \label{連続型期待値}\tag{2}
\end{gather}
分散
離散確率変数\(X\)が\(X=x\)となる確率が確率関数\(f(x)\)で与えられる(\(X\)が離散型確率分布に従う)とき、\(X\)の分散\(V[X]\)は次式で定義される。
分散(離散型確率分布)
\begin{gather}
V[X]=\sum_{x}(x-E[X])^{2}f(x) \label{離散型分散}\tag{3}
\end{gather}
連続確率変数\(X\)が\(X=x\)となる確率が確率密度関数\(f(x)\)で与えられる(\(X\)が連続型確率分布に従う)とき、分散\(V[X]\)は次式で定義される。
分散(連続型確率分布)
\begin{gather}
V[X]=\int_{-\infty}^{\infty} (x-E[X])^{2}f(x)dx \label{連続型分散}\tag{4}
\end{gather}
また(\ref{離散型分散})と(\ref{連続型分散})をそれぞれ変形すると
\begin{align}
V[X]&=\sum_{x}x^{2}f(x)-\sum_{x}2xE[X]f(x)+\sum_{x}(E[X])^{2}f(x) \\
&=E[X^{2}]-2E[X]\sum_{x}xf(x)+(E[X])^{2}\sum_{x}f(x) \\
&=E[X^{2}]-2E[X]\cdot E[X]+(E[X])^{2}\quad(3項目：全確率は1)\\
&=E[X^{2}]-(E[X])^{2}\\
V[X]&=\int_{-\infty}^{\infty}x^{2}f(x)dx-\int_{-\infty}^{\infty}2xE[X]f(x)dx+\int_{-\infty}^{\infty}(E[X])^{2}f(x)dx\\
&=E[X^{2}]-2E[X]\int_{-\infty}^{\infty}xf(x)dx+(E[X])^{2}\int_{-\infty}^{\infty}f(x)dx \\
&=E[X^{2}]-2E[X]\cdot E[X]+(E[X])^{2}\quad(3項目：全確率は1)\\
&=E[X^{2}]-(E[X])^{2}
\end{align}
となり、確率変数\(X\)の分散は\(X\)の期待値と\(X^{2}\)の期待値から計算できることがわかる。
分散(別表式)
\begin{gather}
V[X]=E[X^{2}]-(E[X])^{2} \label{分散別表式} \tag{5}
\end{gather}
実際の分散の計算では(\ref{分散別表式})が用いられることが多い。
具体例
以下、いくつかの確率分布における期待値、分散をまとめる。
| 確率分布 | 確率(密度)関数 | 期待値 | 分散 |
|---|---|---|---|
| ベルヌーイ分布 | \(f(x;p)=p^{x}(1-p)^{1-x}\) | \(E[X]=p\) | \(V[X]=p(1-p)\) |
| 二項分布 | \(\displaystyle{f(x;p)={}_{N}\mathrm{C}_{x}\,p^{x}(1-p)^{N-x}}\) | \(E[X]=Np\) | \(V[X]=Np(1-p)\) |
| 多項分布 | \(\displaystyle{f(x_{j};p_{j})=N!\prod_{j=1}^{k}\frac{p_{j}^{x_{j}}}{x_{j}!}}\) | \(E[X_{j}]=Np_{j}\) | \(V[X_{j}]=Np_{j}(1-p_{j})\) |
| 正規分布 | \(\displaystyle{f(x)=\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]}\) | \(E[X]=\mu\) | \(V[X]=\sigma^{2}\) |
例題
例題1
表1で示された確率分布の内、以下の確率分布における期待値と分散を証明せよ。
(1) ベルヌーイ分布
(2) 二項分布
(3) 正規分布
ただし解答に当たり、下記2つの関係式を証明なしで用いて良い。
\begin{align}
&\sum_{k=0}^{n}{}_{n}\mathrm{C}_{k}a^{k}b^{n-k}=(a+b)^{n} \quad(二項定理)\label{二項定理}\tag{6}\\
&\sum_{k=0}^{n}k\,{}_{n}\mathrm{C}_{k}a^{k}b^{n-k} =na \sum_{k=1}^{n} {}_{n-1}\mathrm{C}_{k-1}a^{k-1}b^{n-k}\label{関係式2}\tag{7}
\end{align}
\begin{align}
\sum_{k=0}^{n}k\,{}_{n}\mathrm{C}_{k}a^{k}b^{n-k}&=\sum_{k=1}^{n}k\frac{n!}{k!(n-k!)}a^{k}b^{n-k}\quad(k=0のとき項が0になる。)\\
&=\sum_{k=1}^{n}\frac{n(n-1)!}{(k-1)!(n-k)!}a^{k}b^{n-k} \\
&=n\sum_{k=1}^{n}{}_{n-1}\mathrm{C}_{k-1}\,a^{k}b^{n-k}\\
&=na\sum_{k=1}^{n}{}_{n-1}\mathrm{C}_{k-1}\,a^{k-1}b^{n-k}
\end{align}
解説
(1)
期待値については
\begin{align}
E[X]=\sum_{x=0}^{1}xp^{x}(1-p)^{1-x}=p \quad\therefore\boxed{E[X]=p}
\end{align}
となる。
分散については
\begin{align}
V[X]&=E[X^{2}]-\left(E[X]\right)^{2}\\
&=\sum_{x=0}^{1}x^{2}p^{x}(1-p)^{1-x}-p^{2}\\
&=p-p^{2}=p(1-p)\quad \therefore \boxed{V[X]=p(1-p)}
\end{align}
となる。
(2)
期待値については
\begin{align}
E[X]&=\sum_{x=0}^{N}x{}_{N}\mathrm{C}_{x}\,p^{x}(1-p)^{N-x}\\
&=Np\sum_{x=1}^{N}{}_{N-1}\mathrm{C}_{x-1}\,p^{x-1}(1-p)^{N-x}\quad((\ref{関係式2})を利用。)\\
&=Np\sum_{\alpha=0}^{N-1}{}_{N-1}\mathrm{C}_{\alpha}\,p^{\alpha}(1-p)^{N-1-\alpha} \quad(\alpha=x-1とした。)\\
&=Np(p+1-p)^{N-1}\quad((\ref{二項定理})を利用。)\\
&=Np\quad \therefore \boxed{E[X]=Np}
\end{align}
となる。
分散については
\begin{align}
&&E[X^{2}]=&\sum_{x=0}^{N}x^{2}{}_{N}\mathrm{C}_{x}\,p^{x}(1-p)^{N-x}\\
&&=&Np\sum_{x=1}^{N}x{}_{N-1}\mathrm{C}_{x-1}\,p^{x-1}(1-p)^{N-x} \quad((\ref{関係式2})を利用。) \\
&&=&Np\sum_{\alpha=0}^{N-1}(\alpha+1){}_{N-1}\mathrm{C}_{\alpha}\,p^{\alpha}(1-p)^{N-1-\alpha}\quad(\alpha=x-1とした。)\\
&&=&Np\left\{\sum_{\alpha=0}^{N-1}\alpha{}_{N-1}\mathrm{C}_{\alpha}\,p^{\alpha}(1-p)^{N-1-\alpha}+\sum_{\alpha=0}^{N-1}{}_{N-1}\mathrm{C}_{\alpha}\,p^{\alpha}(1-p)^{N-1-\alpha}\right\}\\
&&=&Np\left\{(N-1)p\sum_{\alpha=1}^{N-1}{}_{N-2}\mathrm{C}_{\alpha-1}p^{\alpha-1}(1-p)^{N-1-\alpha}\right. \quad ((\ref{関係式2})を利用。)\\
&& &\left.+(p+1-p)^{N-1}\right\}\quad((\ref{二項定理})を利用。)\\
&&=&Np\left\{1+(N-1)p\sum_{\beta=0}^{N-2}{}_{N-2}\mathrm{C}_{\beta}p^{\beta}(1-p)^{N-2-\beta}\right\}\quad (\beta=\alpha-1とした。)\\
&&=&Np\left\{1+(N-1)p(p+1-p)^{N-2}\right\}\quad( (\ref{二項定理})を利用。 )\\
&&=&Np\left\{1+(N-1)p\right\}
\end{align}
より
\begin{align}
V[X]&=E[X^{2}]-\left(E[X]\right)^{2}\\
&=Np\left\{1+(N-1)p\right\}-(Np)^{2}\\
&=Np(1-p)\quad\therefore\boxed{V[X]=Np(1-p)}
\end{align}
となる。
(3)
期待値については
\begin{align}
E[X]&=\int_{-\infty}^{\infty}x\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\\
&=\int_{-\infty}^{\infty}(x-\mu+\mu)\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\\
&=\int_{-\infty}^{\infty}(x-\mu)\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx+\mu\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\\
&=\frac{1}{\sqrt{2\pi\sigma^{2}}}\left[-\sigma^{2}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]\right]_{-\infty}^{\infty}+\mu\quad(2項目：全確率は1)\\
&=0+\mu=\mu\quad\therefore\boxed{E[X]=\mu}
\end{align}
となる。
分散については
\begin{align}
&&E[X^{2}]=&\int_{-\infty}^{\infty}x^{2}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx \\
&&=&\int_{-\infty}^{\infty}\left\{(x-\mu)^{2}+2\mu x-\mu^{2}\right\}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx \\
&&=&\int_{-\infty}^{\infty}(x-\mu)^{2}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\\
&& &+2\mu\int_{-\infty}^{\infty}x\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\\
&& &-\mu^{2}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\\
&&=&\frac{1}{\sqrt{2\pi\sigma^{2}}}\left[-\sigma^{2}(x-\mu)\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]\right]_{-\infty}^{\infty}+\sigma^{2}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\quad(部分積分)\\
&& &+2\mu\cdot\mu\quad(期待値と同値)\\
&& &-\mu^{2}\cdot 1\quad(全確率は1)\\
&&=&0+\sigma^{2}\cdot 1+\mu^{2}\quad(全確率は1)\\
&&=&\sigma^{2}+\mu^{2}
\end{align}
より
\begin{align}
V[X]&=E[X^{2}]-(E[X])^{2} \\
&=\sigma^{2}+\mu^{2}-\mu^{2}\\
&=\sigma^{2}\quad\therefore\boxed{V[X]=\sigma^{2}}
\end{align}
となる。
\begin{gather}
合成関数の微分：\{f(x)g(x)\}’=f'(x)g(x)+f(x)g'(x)\\
\Downarrow 積分\\
\left[f(x)g(x)\right]_{a}^{b}=\int_{a}^{b}f'(x)g(x)dx+ \int_{a}^{b}f(x)g'(x)dx \\
\Downarrow 式変形\\
部分積分：\int_{a}^{b}f'(x)g(x)dx= \left[f(x)g(x)\right]_{a}^{b} – \int_{a}^{b}f(x)g'(x)dx
\end{gather}
今回は\(\displaystyle{f'(x)=(x-\mu) \exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right] ,\,g(x)=x-\mu}\)として
\begin{align}
&\int_{-\infty}^{\infty}(x-\mu)^{2}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx\\
=& \frac{1}{\sqrt{2\pi\sigma^{2}}}\left[-\sigma^{2}(x-\mu)\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]\right]_{-\infty}^{\infty}+\sigma^{2}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\sigma^{2}}\right]dx
\end{align}
を計算した。
例題2
(1) 各面が出る確率が以下の\(p_{j}\)で与えられる3面の歪なサイコロを振る試行を考える。
| 面 | 1 | 2 | 3 |
| \(p_{j}\) | \(\displaystyle{\frac{1}{4}}\) | \(\displaystyle{\frac{1}{4}}\) | \(\displaystyle{\frac{1}{2}}\) |
このサイコロを2回振ったとき、1の面が出る回数\(X_{1}\)の期待値\(E[X_{1}]\)と分散\(V[X_{1}]\)を求めよ。
ただし、各面が\(x_{j}\,(j=0,1,2)\)回出る確率は多項分布\(\displaystyle{f(x_{1},x_{2},x_{3})=2!\prod_{j=1}^{3}\frac{p_{j}^{x_{j}}}{x_{j}!}}\)に従うとする。
(2) 多項分布\(\displaystyle{f(x_{j};p_{j})=N!\prod_{j=1}^{k}\frac{p_{j}^{x_{j}}}{x_{j}!}}\)では、期待値\(E[X_{j}]=Np_{j}\)、分散\(V[X_{j}]=Np_{j}(1-p_{j})\)となる。
(1)の結果がこれらと一致することを確認せよ。
解説
(1)
求める期待値は
\begin{align}
E[X_{1}]=\sum_{x_{1}=0}^{2}x_{1}f_{\text{all}}(x_{1})=\sum_{x_{1}=1}^{2}x_{1}f_{\text{all}}(x_{1})\quad(x_{1}=0のとき項が0になる。)
\end{align}
となる。
ここで\(f_{\text{all}}(x_{1})\)は1の面が\(x_{1}\)回出る全確率である。
以下、場合分けをして\(f_{\text{all}}(x_{1})\)を求める。
(i) \(x_{1}=1\)のとき、\((x_{2},x_{3})=(1,0),(0,1)\)の2通りが存在する。
よって
\begin{align}
f_{\text{all}}(1)&=f(1,1,0)+f(1,0,1) \\
&=\left\{2!\cdot\frac{1}{1!}\left(\frac{1}{4}\right)^{1}\cdot\frac{1}{1!}\left(\frac{1}{4}\right)^{1}\cdot\frac{1}{0!}\left(\frac{1}{2}\right)^{0}\right\}+\left\{2!\cdot\frac{1}{1!}\left(\frac{1}{4}\right)^{1}\cdot\frac{1}{0!}\left(\frac{1}{4}\right)^{0}\cdot\frac{1}{1!}\left(\frac{1}{2}\right)^{1}\right\}\\
&=\frac{1}{8}+\frac{1}{4}=\frac{3}{8}
\end{align}
となる。
(ii) \(x_{1}=2\)のとき、\((x_{2},x_{3})=(0,0)\)の1通りのみである。
よって
\begin{align}
f_{\text{all}}(2)&=f(2,0,0)=2!\cdot\frac{1}{2!}\left(\frac{1}{4}\right)^{2}\cdot\frac{1}{0!}\left(\frac{1}{4}\right)^{0}\cdot\frac{1}{0!}\left(\frac{1}{2}\right)^{0}=\frac{1}{16}
\end{align}
となる。
以上より求める期待値は
\begin{align}
E[X_{1}]=\sum_{x_{1}=1}^{2}x_{1}f_{\text{all}}(x_{1})=1\cdot f_{\text{all}}(1)+2\cdot f_{\text{all}}(2)=1\cdot\frac{3}{8}+2\cdot\frac{1}{16}=\boxed{\frac{1}{2}}
\end{align}
となる。
続いて分散を求める。
\begin{align}
V[X_{1}]&=E[X_{1}^{2}]-(E[X_{1}])^{2}\\
&=\sum_{x_{1}=1}^{2}x_{1}^{2}f_{\text{all}}(x_{1})-\left(\frac{1}{2}\right)^{2}\\
&=1^{2}\cdot\frac{3}{8}+2^{2}\cdot\frac{1}{16}-\frac{1}{4}=\frac{3}{8}+\frac{1}{4}-\frac{1}{4}=\boxed{\frac{3}{8}}
\end{align}
(2)
期待値は
\begin{align}
E[X_{1}]=Np_{1}=2\cdot\frac{1}{4}=\boxed{\frac{1}{2}}
\end{align}
となる。
分散は
\begin{align}
V[X_{1}]=Np_{1}(1-p_{1})=2\cdot\frac{1}{4}\left(1-\frac{1}{4}\right)=\frac{1}{2}\cdot\frac{3}{4}=\boxed{\frac{3}{8}}
\end{align}
となる。
よって期待値、分散ともに(1)の結果と一致する。
終わりに
かなり久々に期待値、分散の計算をしようと思ったら分散の計算の仕方を忘れていて焦った…
二項定理は言わずもがな。
ただ復習して思い出して計算できるようになるのは楽しい。
願わくばもうちょい記憶が定着していて欲しい…
END
コメント