【E資格】離散型確率分布に従うデータから最尤推定

確率・統計

 本記事では、多項分布、カテゴリカル分布、二項分布、ベルヌーイ分布の4つの離散型確率分布に従うデータから、最尤推定によりパラメータを求める例を示す。

 E資格の試験問題に近い形式での最尤推定演習問題についてまとめたつもりである。 

 ただし右のE資格問題集には多項分布と二項分布は取り上げられていない。

 問題集の内容を理解するだけなら、ベルヌーイ分布とカテゴリカル分布だけに目を通せば十分である。


多項分布

 次のようなデータ\(D\)を考える。

\begin{align}
D=\left\{\vec{d}_{1},\vec{d}_{2},…,\vec{d}_{n}\right\}=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\\ \vdots \\ x_{1,k}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\\ \vdots \\ x_{2,k}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\\ \vdots \\ x_{n,k}\end{pmatrix}\right\}\label{多項データD}\tag{1}
\end{align}

 \(D\)には\(k\)個の成分を持つベクトル\(\vec{d}_{i}(i=1,2,…,k)\)が\(n\)個集まっている。

 ここで\(x_{i,j}\)は、それぞれ確率\(p_{j}\)で生じる確率的事象\(E_{j}\)の発生回数を示しており、0以上の整数値を取るとする。

 確率\(p_{j}\)については

\begin{align}
\sum_{j=1}^{k}p_{j}=1\tag{2}
\end{align}

と満たす。

 さらに各ベクトル\(\vec{d}_{i}\)において、成分\(x_{i,j}\)の総和は\(i\)に依らず一定値\(N\)をとる、すなわち任意の\(i\)において

\begin{align}
\sum_{j=1}^{k}x_{i,j}=N\tag{3}
\end{align}

を満たすとする。

 すなわちデータ\(D\)は、\(N\)回試行を1セットとし、それを\(n\)セット実施した場合の集計データを表す。

 このデータ\(D\)が多項分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=N!\prod_{j=1}^{k}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{4}
\end{align}

 また尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{n}N!\prod_{j=1}^{k}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{5}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-n\log N!-\sum_{i=1}^{n}\sum_{j=1}^{k}\left(x_{i,j}\log p_{j}-\log x_{i,j}!\right)\tag{6}
\end{align}

となる。

 

例題

 次のデータ\(D\)が多項分布\(\displaystyle{f(x_{i,j};p_{j})=N!\prod_{j=1}^{k}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}}\)に従うと仮定する。
 (ベクトル\(\vec{d}_{i}\)の出現確率が多項分布に従うと仮定する。)

\begin{align}
D&=\left\{\vec{d}_{1},\vec{d}_{2},\vec{d}_{3},\vec{d}_{4},\vec{d}_{5}\right\}\\
&=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2} \\ x_{1,3}\end{pmatrix},\begin{pmatrix}x_{2,1} \\ x_{2,2}\\ x_{2,3}\end{pmatrix},\begin{pmatrix}x_{3,1}\\ x_{3,2}\\ x_{3,3}\end{pmatrix},\begin{pmatrix}x_{4,1}\\ x_{4,2}\\ x_{4,3}\end{pmatrix},\begin{pmatrix}x_{5,1}\\ x_{5,2}\\ x_{5,3}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}2\\ 0 \\ 3\end{pmatrix},\begin{pmatrix}1\\ 2\\ 2\end{pmatrix},\begin{pmatrix}2\\ 2\\ 1\end{pmatrix},\begin{pmatrix}4\\ 0\\ 1\end{pmatrix},\begin{pmatrix}1\\ 1\\ 3\end{pmatrix}\right\}\label{多項例データ}\tag{7}
\end{align}

 さらに、\(\displaystyle{p_{1}=\frac{2}{5}}\)であるとする。

 このとき\(p_{2}\)の最尤推定値を求めよ。

解説

 \(\displaystyle{k=3,N=\sum_{j=1}^{3}x_{i,j}=5}\)より、確率関数は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=5!\prod_{j=1}^{3}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{8}
\end{align}

 よって尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{5}5!\prod_{j=1}^{3}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{9}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-5\log 5!-\sum_{i=1}^{5}\sum_{j=1}^{3}\left(x_{i,j}\log p_{j}-\log x_{i,j}!\right)\label{多項例1}\tag{10}
\end{align}

となる。

 ここで、\(\displaystyle{p_{1}=\frac{2}{5},p_{3}=\frac{3}{5}-p_{2}}\)を(\ref{多項例1})に代入して整理すると、

\begin{align}
&&-\log L(p_{2})=&-5\log 5!-\sum_{i=1}^{5}\sum_{j=1}^{3}x_{i,j}\log p_{j}+\sum_{i=1}^{5}\sum_{j=1}^{3}\log x_{i,j}!\\
&&=&-\sum_{i=1}^{5}\left\{x_{i,1}\log\frac{2}{5}+x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{3}{5}-p_{2}\right)\right\}\\
&& &-5\log 5!+\sum_{i=1}^{5}\sum_{j=1}^{3}\log x_{i,j}!\\
&&=&-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{3}{5}-p_{2}\right)\right\}+C\label{多項例2}\tag{11}
\end{align}

となる。
 (最後の\(C\)に定数部分をまとめた。)

 (\ref{多項例2})は凸関数であるため、(\ref{多項例2})の導関数が0となる\(p_{2}\)が最尤推定値である。

 よって

\begin{gather}
\frac{d}{dp_{2}}\left\{-\log L(p_{2})\right\}=0\\
\frac{d}{dp_{2}}\left[-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{3}{5}-p_{2}\right)\right\}+C\right]=0\\
-\sum_{i=1}^{5}\left\{\frac{x_{i,2}}{p_{2}}-\frac{x_{i,3}}{(3/5)-p_{2}}\right\}=0\\
\sum_{i=1}^{5}\left\{x_{i,2}\left(\frac{3}{5}-p_{2}\right)-x_{i,3}p_{2}\right\}=0\\
\frac{3}{5}\sum_{i=1}^{5}x_{i,2}-p_{2}\sum_{i=1}^{5}(x_{i,2}+x_{i,3})=0\\
\frac{3}{5}\cdot 5-p_{2}\cdot 15=0\quad\left((\ref{多項例データ})より\right)\\
\therefore p_{2}=\frac{1}{5}\tag{12}
\end{gather}

となる。

 よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}_{2}=\frac{1}{5}}}\)となる。

二項分布

 ここで、データ\(D\)が次のようになる場合を考える。

\begin{align}
D=\left\{\vec{d}_{1},\vec{d}_{2},…,\vec{d}_{n}\right\}=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\end{pmatrix}\right\}\label{二項データD}\tag{13}
\end{align}

 (\ref{多項データD})において\(k=2\)とし、ベクトル\(\vec{d}_{i}\)の成分の個数を2個のみとした。

 すなわち、起こりうる事象が2種類しかない試行を\(N\)回繰り返し、それを\(n\)セット実施する。

 このデータ\(D\)が二項分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=f(x_{i};p)={}_{N}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{14}
\end{align}

 ただし、\(p_{1}=p,p_{2}=1-p,x_{i,1}=x_{i},x_{i,2}=N-x_{i}\)としている。

 また尤度関数は

\begin{align}
L(p)=\prod_{i=1}^{n}{}_{N}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{15}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{n}{\log N!-\log x_{i}!-\log(N-x_{i})!+x_{i}\log p+(N-x_{i})\log (1-p)}\tag{16}
\end{align}

となる。

例題

 次のデータ\(D\)が二項分布\(\displaystyle{f(x_{i};p)={}_{N}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}}\)に従うと仮定する。
 (ベクトル\(\vec{d}_{i}\)の出現確率が二項分布に従うと仮定する。)

\begin{align}
D&=\left\{\vec{d}_{1},\vec{d}_{2},\vec{d}_{3},\vec{d}_{4},\vec{d}_{5},\vec{d}_{6}\right\}\\
&=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\end{pmatrix},\begin{pmatrix}x_{3,1}\\ x_{3,2}\end{pmatrix},\begin{pmatrix}x_{4,1}\\ x_{4,2}\end{pmatrix},\begin{pmatrix}x_{5,1}\\ x_{5,2}\end{pmatrix},\begin{pmatrix}x_{6,1}\\ x_{6,2}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}4\\ 6\end{pmatrix},\begin{pmatrix}2\\ 8\end{pmatrix},\begin{pmatrix}6\\ 4\end{pmatrix},\begin{pmatrix}1\\ 9\end{pmatrix},\begin{pmatrix}5\\ 5\end{pmatrix},\begin{pmatrix}2\\ 8\end{pmatrix}\right\}\label{二項例データ}\tag{17}
\end{align}

 このとき\(p\)の最尤推定値を求めよ。

 ただし\(x_{i,1}=x_{i}\)とせよ。

解説

 \(\displaystyle{N=10}\)より、確率関数は次式のようになる。

\begin{align}
f(x_{i};p)={}_{10}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{18}
\end{align}

 よって尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{6}{}_{10}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{19}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{6}{\log 10!-\log x_{i}!-\log(10-x_{i})!+x_{i}\log p+(10-x_{i})\log (1-p)}\label{二項例1}\tag{20}
\end{align}

となる。

 (\ref{二項例1})は凸関数であるため、(\ref{二項例1})の導関数が0となる\(p\)が最尤推定値である。

 よって

\begin{gather}
\frac{d}{dp}\left\{-\log L(p)\right\}=0\\
\frac{d}{dp}\left[-\sum_{i=1}^{6}{\log 10!-\log x_{i}!-\log(10-x_{i})!+x_{i}\log p+(10-x_{i})\log (1-p)}\right]=0\\
-\sum_{i=1}^{6}\left\{\frac{x_{i}}{p}-\frac{10-x_{i}}{1-p}\right\}=0\\
\sum_{i=1}^{6}\left\{x_{i}\left(1-p\right)-(10-x_{i})p\right\}=0\\
\sum_{i=1}^{6}x_{i}-\sum_{i=1}^{6}10p=0\\
20-5\cdot 10p=0\quad\left((\ref{二項例データ})より\right)\\
\therefore p=\frac{1}{3}\tag{21}
\end{gather}

となる。

 よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}=\frac{1}{3}}}\)となる。

 ちなみに二項分布における\(p\)の最尤推定値は\(\displaystyle{\hat{p}=\frac{1}{nN}\sum_{i=1}^{n}x_{i}}\)で表せられるが、

\begin{align}
\hat{p}=\frac{1}{6\cdot 10}\sum_{i=1}^{6}x_{i}=\frac{1}{6\cdot 10}\cdot 20=\frac{1}{3}\tag{22}
\end{align}

となり、上の結果と一致する。

カテゴリカル分布

 続いて具体例になるが、データ\(D\)が次のようになる場合を考える。

\begin{align}
D=\left\{\vec{d}{1},\vec{d}{2},…,\vec{d}{n}\right\}&=\left\{\begin{pmatrix}x{1,1}\\ x_{1,2}\\ \vdots \\ x_{1,k}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\\ \vdots \\ x_{2,k}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\\ \vdots \\ x_{n,k}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}0\\ 1\\ \vdots \\ 0\end{pmatrix},\begin{pmatrix}0\\ 0\\ \vdots \\ 1\end{pmatrix},…,\begin{pmatrix}1\\ 0\\ \vdots \\ 0\end{pmatrix}\right\}\label{カテデータD}\tag{23}
\end{align}

 ベクトル\(\vec{d}_{i}\)の成分が1つだけ1、残りは全て0という構成になっている。
 (このようなベクトルをワンホットベクトルという。)

 すなわち、繰り返し回数が1回のみ試行を\(n\)セット実施する。

 このデータ\(D\)がカテゴリカル分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=\prod_{j=1}^{k}p_{j}^{x_{i,j}}\tag{24}
\end{align}

 また尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{n}\prod_{j=1}^{k}p_{j}^{x_{i,j}}\tag{25}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-\sum_{i=1}^{n}\sum_{j=1}^{k}x_{i,j}\log p_{j}\tag{26}
\end{align}

となる。

例題

次のデータ(D)がカテゴリカル分布\(\displaystyle{f(x_{i,j};p_{j})=\prod_{j=1}^{k}p_{j}^{x_{i,j}}}\)に従うと仮定する。
 (ベクトル\(\vec{d}_{i}\)の出現確率がカテゴリカル分布に従うと仮定する。)

\begin{align}
D&=\left\{\vec{d}_{1},\vec{d}_{2},\vec{d}_{3},\vec{d}_{4},\vec{d}_{5}\right\}\\
&=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\\ x_{1,3}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\\ x_{2,3}\end{pmatrix},\begin{pmatrix}x_{3,1}\\ x_{3,2}\\ x_{3,3}\end{pmatrix},\begin{pmatrix}x_{4,1}\\ x_{4,2}\\ x_{4,3}\end{pmatrix},\begin{pmatrix}x_{5,1}\\ x_{5,2}\\ x_{5,3}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}0\\ 0\\ 1\end{pmatrix},\begin{pmatrix}1\\ 0\\ 0\end{pmatrix},\begin{pmatrix}0\\ 0\\ 1\end{pmatrix},\begin{pmatrix}0\\ 0\\ 1\end{pmatrix},\begin{pmatrix}0\\ 1\\ 0\end{pmatrix}\right\}\label{カテゴリカル例データ}\tag{27}
\end{align}

 さらに、\(\displaystyle{p_{1}=\frac{1}{5}}\)であるとする。

 このとき\(p_{2}\)の最尤推定値を求めよ。

解説

 \(k=3\)より、確率関数は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=\prod_{j=1}^{3}p_{j}^{x_{i,j}}\tag{28}
\end{align}

 よって尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{5}\prod_{j=1}^{3}p_{j}^{x_{i,j}}\tag{29}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-\sum_{i=1}^{5}\sum_{j=1}^{3}x_{i,j}\log p_{j} \label{カテゴリカル例1}\tag{30}
\end{align}

となる。

 ここで、\(\displaystyle{p_{1}=\frac{1}{5},p_{3}=\frac{4}{5}-p_{2}}\)を(\ref{カテゴリカル例1})に代入して整理すると、

\begin{align}
-\log L(p_{2})&=-\sum_{i=1}^{5}\left\{x_{i,1}\cdot\frac{1}{5}+x_{i,2}\log p_{2}+x_{i,3}\log \left(\frac{4}{5}-p_{2}\right)\right\}\\
&=-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log \left(\frac{4}{5}-p_{2}\right)\right\}+C\label{カテゴリカル例2}\tag{31}
\end{align}

となる。
 (最後の\(C\)に定数部分をまとめた。)

 (\ref{カテゴリカル例2})は凸関数であるため、(\ref{カテゴリカル例2})の導関数が0となる\(p_{2}\)が最尤推定値である。

 よって

\begin{gather}
\frac{d}{dp_{2}}\left\{-\log L(p_{2})\right\}=0\\
\frac{d}{dp_{2}}\left[-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{4}{5}-p_{2}\right)\right\}+C\right]=0\\
-\sum_{i=1}^{5}\left\{\frac{x_{i,2}}{p_{2}}-\frac{x_{i,3}}{(4/5)-p_{2}}\right\}=0\\
\sum_{i=1}^{5}\left\{x_{i,2}\left(\frac{4}{5}-p_{2}\right)-x_{i,3}p_{2}\right\}=0\\
\frac{4}{5}\sum_{i=1}^{5}x_{i,2}-p_{2}\sum_{i=1}^{5}(x_{i,2}+x_{i,3})=0\\
\frac{4}{5}\cdot 1-p_{2}\cdot 4=0\quad\left((\ref{カテゴリカル例データ})より\right)\\
\therefore p_{2}=\frac{1}{5}\tag{32}
\end{gather}

となる。

 よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}_{2}=\frac{1}{5}}}\)となる。

ベルヌーイ分布

 これも具体例になるが、データ\(D\)が次のようになる場合を考える。

\begin{align}
D=\left\{\vec{d}_{1},\vec{d}_{2},…,\vec{d}_{n}\right\}&=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}1\\ 0\end{pmatrix},\begin{pmatrix}0\\ 1\end{pmatrix},…,\begin{pmatrix}1\\ 0\end{pmatrix}\right\}\tag{33}
\end{align}

 (\ref{二項データD})において、ベクトル\(\vec{d}_{i}\)の2つの成分のうち片方が1、もう片方が0という構成になっている。

 すなわち、起こりうる事象が2種類しかない試行を1回のみ実施し、それを\(n\)セット実施する。

 また単純に片方の成分のみを並べて

\begin{align}
D=\left\{x_{1},x_{2},…,x_{n}\right\}=\left\{1,0,…,1\right\}\tag{34}
\end{align}

としても良い。

 このデータ\(D\)がベルヌーイ分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=f(x_{i};p)=p^{x_{i}}(1-p)^{1-x_{i}}\tag{35}
\end{align}

 ただし、\(p_{1}=p,p_{2}=1-p,x_{i,1}=x_{i},x_{i,2}=1-x_{i}\)としている。

 また尤度関数は

\begin{align}
L(p)=\prod_{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}\tag{36}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{n}{x_{i}\log p+(1-x_{i})\log (1-p)}\tag{37}
\end{align}

となる。

例題

 次のデータ\(D\)がベルヌーイ分布\(\displaystyle{f(x_{i};p)=p^{x_{i}}(1-p)^{1-x_{i}}}\)に従うと仮定する。
 (ベクトル\(\vec{d}_{i}\)の出現確率がベルヌーイ分布に従うと仮定する。)

\begin{align}
D&=\left\{\vec{d}_{1},\vec{d}_{2},\vec{d}_{3},\vec{d}_{4},\vec{d}_{5},\vec{d}_{6}\right\}\\
&=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\end{pmatrix},\begin{pmatrix}x_{3,1}\\ x_{3,2}\end{pmatrix},\begin{pmatrix}x_{4,1}\\ x_{4,2}\end{pmatrix},\begin{pmatrix}x_{5,1}\\ x_{5,2}\end{pmatrix},\begin{pmatrix}x_{6,1}\\ x_{6,2}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}0\\ 1\end{pmatrix},\begin{pmatrix}1\\ 0\end{pmatrix},\begin{pmatrix}1\\ 0\end{pmatrix},\begin{pmatrix}1\\ 0\end{pmatrix},\begin{pmatrix}0\\ 1\end{pmatrix},\begin{pmatrix}1\\ 0\end{pmatrix}\right\}\label{ベルヌーイ例データ}\tag{38}
\end{align}

 このとき\(p\)の最尤推定値を求めよ。

 ただし\(x_{i,1}=x_{i}\)とせよ。

解説

 確率関数は次式のようになる。

\begin{align}
f(x_{i};p)=p^{x_{i}}(1-p)^{1-x_{i}}\tag{39}
\end{align}

 よって尤度関数は

\begin{align}
L(p)=\prod_{i=1}^{6}p^{x_{i}}(1-p)^{1-x_{i}}\tag{40}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{6}{x_{i}\log p+(1-x_{i})\log (1-p)}\label{ベルヌーイ例1}\tag{41}
\end{align}

となる。

 (\ref{ベルヌーイ例1})は凸関数であるため、(\ref{ベルヌーイ例1})の導関数が0となる\(p\)が最尤推定値である。

 よって

\begin{gather}
\frac{d}{dp}\left\{-\log L(p)\right\}=0\\
\frac{d}{dp}\left[-\sum_{i=1}^{6}{x_{i}\log p+(1-x_{i})\log (1-p)}\right]=0\\
-\sum_{i=1}^{6}\left\{\frac{x_{i}}{p}-\frac{1-x_{i}}{1-p}\right\}=0\\
\sum_{i=1}^{6}\left\{x_{i}\left(1-p\right)-(1-x_{i})p\right\}=0\\
\sum_{i=1}^{6}x_{i}-\sum_{i=1}^{6}p=0\\
4-6\cdot p=0\quad\left((\ref{ベルヌーイ例データ})より\right)\\
\therefore p=\frac{2}{3}\tag{42}
\end{gather}

となる。

 よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}=\frac{2}{3}}}\)となる。

 ちなみにベルヌーイ分布における\(p\)の最尤推定値は\(\displaystyle{\hat{p}=\frac{1}{n}\sum_{i=1}^{n}x_{i}}\)で表せられるが、

\begin{align}
\hat{p}=\frac{1}{6}\sum_{i=1}^{6}x_{i}=\frac{1}{6}\cdot 4=\frac{2}{3}\tag{43}
\end{align}

となり、上の結果と一致する。

終わりに

 今年3月にG検定を受けて合格した流れでE資格の勉強も始めてしまった。

 受検するにはJDLA認定プログラムを2年以内に修了しておかなければならないが、受講価格がまだお手頃とは言えないため様子見している。

 とりあえず問題集だけ買って自分のペースで勉強しているが、もっとハイペースで進めらんないもんか…

 仕事の都合で別の勉強もしなきゃならなくなったから、現状ペースダウンが必須だがギブアップはしないようにしたい。

 

 END


コメント

タイトルとURLをコピーしました