本記事では、統計学における推定の一種である最尤推定(最尤法)の例題を扱う。
最尤推定については下記記事を参照。
例題1
例題1
表が出る確率が\(p\)、裏が出る確率が\(1-p\)で与えられるコインがある。
このコインを10回振ったとき、表が7回出た。
このとき、表が出る確率\(p\)の最尤推定値を求めよ。
解説
問題文にある「コインを10回振ったとき、表が7回出た」という部分には2通りの捉え方がある。
1つ目は「コインを1回振るという、事象の発生確率がベルヌーイ分布に従う試行を10回繰り返した」という見方。
2つ目は「コインを10回振るという、事象の発生確率が二項分布に従う試行を1回だけ実施した」という見方である。
それぞれの見方に沿って、最尤推定値を求めてみる。
(i)「コインを1回振る試行を10回繰り返す」と見た場合
コインを1回振って表または裏が出る確率はベルヌーイ分布に従うため、表が出る回数を\(x\)とすると確率関数は
\begin{align}
f(x;p)=p^{x}(1-p)^{1-x} \tag{1}
\end{align}
となる。
今回はコインを10回振っているため、10回の試行うち\(i\)回目の試行で表が出た回数を\(x_{i}\)と置くと、尤度関数は
\begin{align}
L(p)=\prod_{i=1}^{10}f(x_{i};p)=\prod_{i=1}^{10}p^{x_{i}}(1-p)^{1-x_{i}} \label{例1尤度}\tag{2}
\end{align}
となる。
さらに、今回は10回コインを振って表が7回出たという事実があるため、尤度関数は
\begin{align}
L(p)=\prod_{i=1}^{10}p^{x_{i}}(1-p)^{1-x_{i}}=p^{7}(1-p)^{3} \label{10の内73}\tag{3}
\end{align}
となる。
\(x_{i}\)のうち7つが1(表が出る)、3つが0(裏が出る)であることがわかっているためこうなる。
納得できなければ具体例を考えればいい。
10回コインを振って以下の表のような結果が出たとする。
| 回数 | 1回目 | 2回目 | 3回目 | 4回目 | 5回目 | 6回目 | 7回目 | 8回目 | 9回目 | 10回目 |
| 結果 | 表 | 表 | 裏 | 表 | 表 | 表 | 表 | 裏 | 裏 | 表 |
| \(x_{i}\) | 1 | 1 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 1 |
実際に上の表の結果に沿って、尤度関数(\ref{例1尤度})を計算すれば
\begin{align}
&&L(p)=&\prod_{i=1}^{10}p^{x_{i}}(1-p)^{1-x_{i}} \\
&&=&p^{1}(1-p)^{0}\cdot p^{1}(1-p)^{0}\cdot p^{0}(1-p)^{1}\cdot p^{1}(1-p)^{0}\cdot p^{1}(1-p)^{0}\\
&& &\cdot p^{1}(1-p)^{0}\cdot p^{1}(1-p)^{0}\cdot p^{0}(1-p)^{1}\cdot p^{0}(1-p)^{1}\cdot p^{1}(1-p)^{0}\\
&&=&p^{7}(1-p)^{3}
\end{align}
となり、(\ref{10の内73})と一致する。
よって負の対数尤度関数は
\begin{align}
-\log L(p)=-\log p^{7}(1-p)^{3}=-7\log p-3\log(1-p) \label{1負対数尤度関数}\tag{4}
\end{align}
となる。
求める最尤推定値は、負の対数尤度関数\(-\log L(p)\)が最小値を取るときの\(p\)である。
今回の負の対数尤度関数(\ref{1負対数尤度関数})は凸関数(下に凸な関数)であるため、\(-\log L(p)\)の導関数が0となる\(p\)が最尤推定値である。
(\ref{1負対数尤度関数})の導関数が0となる\(p\)を計算すると
\begin{gather}
\frac{d}{dp}\{-\log L(p)\}=0\\
\frac{d}{dp}{-7\log p-3\log(1-p)}=0\\
-\frac{7}{p}+\frac{3}{1-p}=0 \quad\therefore p=\frac{7}{10}
\end{gather}
となる。
よって\( -\log L(p) \)の増減表を作ると、右のようになり、(\ref{1負対数尤度関数})が極小点を1つもつ凸関数であることがわかる。
| \(p\) | \(\cdots\) | \(\displaystyle{\frac{7}{10}}\) | \(\cdots\) |
| \(\displaystyle{ \frac{d}{dp}\{-\log L(p)\} }\) | \(-\) | \(0\) | \(+\) |
| \(\displaystyle{ -\log L(p) }\) | \(\searrow\) | \(\displaystyle{ -\log L(7/10) }\) | \(\nearrow\) |
よって
\begin{gather}
\frac{d}{dp}\{-\log L(p)\}=0\\
\frac{d}{dp}{-7\log p-3\log(1-p)}=0\\
-\frac{7}{p}+\frac{3}{1-p}=0 \quad\therefore p=\frac{7}{10}\tag{5}
\end{gather}
となる。
以上より、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}=\frac{7}{10}}}\)となる。
(ii)「コインを10回振る試行を1回だけ実施する」と見た場合
コインを10回振ったときに表、または裏が出る回数は二項分布に従うため、表が出る回数を\(x\)とすると確率関数は
\begin{align}
f(x;p)={}_{10}\mathrm{C}_{x}p^{x}(1-p)^{10-x}\tag{6}
\end{align}
となる。
今回は「コインを10回振る試行」を1回だけ実施しているため、尤度関数は\(f(x;p)\)そのものになる。
\begin{align}
L(p)=f(x;p)={}_{10}\mathrm{C}_{x}p^{x}(1-p)^{10-x}\label{1個の尤度関数}\tag{7}
\end{align}
もっと厳密に述べると、1回の試行のうちi回目の試行で表が出た回数を\(x_{i}\)と置くと、尤度関数は
\begin{align}
L(p)=\prod_{i=1}^{1}f(x_{i};p)=\prod_{i=1}^{1}{}_{10}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{10-x_{i}}={}_{10}\mathrm{C}_{x}p^{x}(1-p)^{10-x}
\end{align}
となる。
さらに、今回は10回コインを振って表が7回出たという事実があるため、尤度関数は
\begin{align}
L(p)={}_{10}\mathrm{C}_{7}p^{7}(1-p)^{10-7}={}_{10}\mathrm{C}_{7}p^{7}(1-p)^{3}\label{1個の尤度関数2}\tag{8}
\end{align}
となる。
よって負の対数尤度関数は
\begin{align}
-\log L(p)=-\log {}_{10}\mathrm{C}_{7}p^{7}(1-p)^{3}=-\log {}_{10}\mathrm{C}_{7}-7\log p-3\log(1-p) \label{2負対数尤度関数}\tag{9}
\end{align}
となる。
(\ref{2負対数尤度関数})は(\ref{1負対数尤度関数})を縦軸方向に平行移動させたものであるため、導関数が0を取るときの\(p\)は(\ref{1負対数尤度関数})と同値になる。
よって求める最尤推定値は\(\boxed{\displaystyle{\hat{p}=\frac{7}{10}}}\)となり、(i)の結果と一致する。
(i)と(ii)で尤度関数の形が違うことに違和感を覚えるかもしれないが、問題は全くない。
(i)の尤度関数(\ref{10の内73})は、何番目に表または裏が出るという順番が決まっている場合の確率である。
もっと言えば、「\(A_{1}\)で事象\(E_{1}\)が起きる」かつ「\(A_{2}\)で事象\(E_{2}\)が起きる」かつ・・・「\(A_{10}\)で事象\(E_{10}\)が起きる」同時確率を表している。
(ii)の尤度関数(\ref{1個の尤度関数2})は、何番目に表または裏が出るという順番は自由である場合の確率である。
どの組み合わせでもいいから7回表が出る確率を表している。
例題2
例題2
同じ模試を受けた100人をランダムに選び、その得点を全て足し上げると5050点となった。
模試の得点の分布が標準偏差10点の正規分布に従うと仮定するとき、分布の期待値の最尤推定値を求めよ。
解説
模試の得点を\(x\)、期待値を\(\mu\)とすると、模試の得点の分布は\(f(x;\mu)\)
\begin{align}
f(x;\mu)=\frac{1}{\sqrt{2\pi\cdot 10^{2}}}\exp\left[-\frac{(x-\mu)^{2}}{2\cdot 10^{2}}\right]=\frac{1}{\sqrt{200\pi}}\exp\left[-\frac{(x-\mu)^{2}}{200}\right]\tag{10}
\end{align}
となる。
(標準偏差の2乗が分散である。)
よってランダムに選ばれた各人の得点を\(x_{i}\)(ただし\(i=1,2,…,100\))とすると、尤度関数\(L(\mu)\)は
\begin{align}
L(\mu)=\prod_{i=1}^{100}f(x_{i};\mu)=\prod_{i=1}^{100}\frac{1}{\sqrt{200\pi}}\exp\left[-\frac{(x_{i}-\mu)^{2}}{200}\right]\tag{11}
\end{align}
となる。
さらに、負の対数尤度関数は
\begin{align}
-\log L(\mu)&=-\log \prod_{i=1}^{100}\frac{1}{\sqrt{200\pi}}\exp\left[-\frac{(x_{i}-\mu)^{2}}{200}\right]\\
&=-\sum_{i=1}^{100}\log\frac{1}{\sqrt{200\pi}}\exp\left[-\frac{(x_{i}-\mu)^{2}}{200}\right]\\
&=-\sum_{i=1}^{100}\left(-\frac{1}{2}\log200\pi+\log\exp\left[-\frac{(x_{i}-\mu)^{2}}{200}\right] \right)\\
&=\frac{1}{2}\sum_{i=1}^{100}\log200\pi-\sum_{i=1}^{100}\left[-\frac{(x_{i}-\mu)^{2}}{200}\right]\\
&=50\log200\pi+\frac{1}{200}\sum_{i=1}^{100}(x_{i}-\mu)^{2}\label{正規尤度例}\tag{12}
\end{align}
となる。
(\ref{正規尤度例})は下に凸の二次関数であるため、(\ref{正規尤度例})の導関数が0となる\(\mu\)が最尤推定値である。
よって
\begin{gather}
\frac{d}{d\mu}\{ -\log L(\mu) \}=0\\
\frac{d}{d\mu}\left\{ 50\log200\pi+\frac{1}{200}\sum_{i=1}^{100}(x_{i}-\mu)^{2} \right\}=0\\
\frac{1}{200}\sum_{i=1}^{100}-2(x_{i}-\mu)=0\\
\sum_{i=1}^{100} (x_{i}-\mu)=0 \\
\sum_{i=1}^{100}x_{i}- \sum_{i=1}^{100}\mu=0\\
5050-100\mu=0\quad\therefore\mu=50.5
\end{gather}
となる。
(100人の合計点が5050点であるため\(\displaystyle{\sum_{i=1}^{100}x_{i}=5050}\)となる。)
以上より、求める最尤推定値は\(\boxed{\displaystyle{\hat{\mu}=50.5}}\)となる。
終わりに
高校の頃、組合せや順列、確率の範囲はどうも苦手意識がついてしまい、結局高校、大学の間にそれを克服することはできなかった。
だが今になって時間が許す限りじっくり考えながら勉強すると、ちゃんとわかってくるし面白い。
やっぱり時間に縛られるとダメなんだなとつくづく思う。
END
コメント