【E資格】離散型確率分布に従うデータから最尤推定

　本記事では、多項分布、カテゴリカル分布、二項分布、ベルヌーイ分布の4つの離散型確率分布に従うデータから、最尤推定によりパラメータを求める例を示す。

多項分布

　次のようなデータ\(D\)を考える。

\begin{align}
D=\left\{\vec{d}_{1},\vec{d}_{2},…,\vec{d}_{n}\right\}=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\\ \vdots \\ x_{1,k}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\\ \vdots \\ x_{2,k}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\\ \vdots \\ x_{n,k}\end{pmatrix}\right\}\label{多項データD}\tag{1}
\end{align}

　\(D\)には\(k\)個の成分を持つベクトル\(\vec{d}_{i}(i=1,2,…,k)\)が\(n\)個集まっている。

　ここで\(x_{i,j}\)は、それぞれ確率\(p_{j}\)で生じる確率的事象\(E_{j}\)の発生回数を示しており、0以上の整数値を取るとする。

　確率\(p_{j}\)については

\begin{align}
\sum_{j=1}^{k}p_{j}=1\tag{2}
\end{align}

と満たす。

　さらに各ベクトル\(\vec{d}_{i}\)において、成分\(x_{i,j}\)の総和は\(i\)に依らず一定値\(N\)をとる、すなわち任意の\(i\)において

\begin{align}
\sum_{j=1}^{k}x_{i,j}=N\tag{3}
\end{align}

を満たすとする。

　すなわちデータ\(D\)は、\(N\)回試行を1セットとし、それを\(n\)セット実施した場合の集計データを表す。

　このデータ\(D\)が多項分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=N!\prod_{j=1}^{k}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{4}
\end{align}

　また尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{n}N!\prod_{j=1}^{k}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{5}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-n\log N!-\sum_{i=1}^{n}\sum_{j=1}^{k}\left(x_{i,j}\log p_{j}-\log x_{i,j}!\right)\tag{6}
\end{align}

となる。

　

解説

　\(\displaystyle{k=3,N=\sum_{j=1}^{3}x_{i,j}=5}\)より、確率関数は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=5!\prod_{j=1}^{3}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{8}
\end{align}

　よって尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{5}5!\prod_{j=1}^{3}\frac{p_{j}^{x_{i,j}}}{x_{i,j}!}\tag{9}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-5\log 5!-\sum_{i=1}^{5}\sum_{j=1}^{3}\left(x_{i,j}\log p_{j}-\log x_{i,j}!\right)\label{多項例1}\tag{10}
\end{align}

となる。

　ここで、\(\displaystyle{p_{1}=\frac{2}{5},p_{3}=\frac{3}{5}-p_{2}}\)を(\ref{多項例1})に代入して整理すると、

\begin{align}
&&-\log L(p_{2})=&-5\log 5!-\sum_{i=1}^{5}\sum_{j=1}^{3}x_{i,j}\log p_{j}+\sum_{i=1}^{5}\sum_{j=1}^{3}\log x_{i,j}!\\
&&=&-\sum_{i=1}^{5}\left\{x_{i,1}\log\frac{2}{5}+x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{3}{5}-p_{2}\right)\right\}\\
&& &-5\log 5!+\sum_{i=1}^{5}\sum_{j=1}^{3}\log x_{i,j}!\\
&&=&-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{3}{5}-p_{2}\right)\right\}+C\label{多項例2}\tag{11}
\end{align}

となる。
　(最後の\(C\)に定数部分をまとめた。)

　(\ref{多項例2})は凸関数であるため、(\ref{多項例2})の導関数が0となる\(p_{2}\)が最尤推定値である。

　よって

\begin{gather}
\frac{d}{dp_{2}}\left\{-\log L(p_{2})\right\}=0\\
\frac{d}{dp_{2}}\left[-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{3}{5}-p_{2}\right)\right\}+C\right]=0\\
-\sum_{i=1}^{5}\left\{\frac{x_{i,2}}{p_{2}}-\frac{x_{i,3}}{(3/5)-p_{2}}\right\}=0\\
\sum_{i=1}^{5}\left\{x_{i,2}\left(\frac{3}{5}-p_{2}\right)-x_{i,3}p_{2}\right\}=0\\
\frac{3}{5}\sum_{i=1}^{5}x_{i,2}-p_{2}\sum_{i=1}^{5}(x_{i,2}+x_{i,3})=0\\
\frac{3}{5}\cdot 5-p_{2}\cdot 15=0\quad\left((\ref{多項例データ})より\right)\\
\therefore p_{2}=\frac{1}{5}\tag{12}
\end{gather}

となる。

　よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}_{2}=\frac{1}{5}}}\)となる。

二項分布

　ここで、データ\(D\)が次のようになる場合を考える。

\begin{align}
D=\left\{\vec{d}_{1},\vec{d}_{2},…,\vec{d}_{n}\right\}=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\end{pmatrix}\right\}\label{二項データD}\tag{13}
\end{align}

　(\ref{多項データD})において\(k=2\)とし、ベクトル\(\vec{d}_{i}\)の成分の個数を2個のみとした。

　すなわち、起こりうる事象が2種類しかない試行を\(N\)回繰り返し、それを\(n\)セット実施する。

　このデータ\(D\)が二項分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=f(x_{i};p)={}_{N}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{14}
\end{align}

　ただし、\(p_{1}=p,p_{2}=1-p,x_{i,1}=x_{i},x_{i,2}=N-x_{i}\)としている。

　また尤度関数は

\begin{align}
L(p)=\prod_{i=1}^{n}{}_{N}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{15}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{n}{\log N!-\log x_{i}!-\log(N-x_{i})!+x_{i}\log p+(N-x_{i})\log (1-p)}\tag{16}
\end{align}

となる。

解説

　\(\displaystyle{N=10}\)より、確率関数は次式のようになる。

\begin{align}
f(x_{i};p)={}_{10}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{18}
\end{align}

　よって尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{6}{}_{10}\mathrm{C}_{x_{i}}p^{x_{i}}(1-p)^{N-x_{i}}\tag{19}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{6}{\log 10!-\log x_{i}!-\log(10-x_{i})!+x_{i}\log p+(10-x_{i})\log (1-p)}\label{二項例1}\tag{20}
\end{align}

となる。

　(\ref{二項例1})は凸関数であるため、(\ref{二項例1})の導関数が0となる\(p\)が最尤推定値である。

　よって

\begin{gather}
\frac{d}{dp}\left\{-\log L(p)\right\}=0\\
\frac{d}{dp}\left[-\sum_{i=1}^{6}{\log 10!-\log x_{i}!-\log(10-x_{i})!+x_{i}\log p+(10-x_{i})\log (1-p)}\right]=0\\
-\sum_{i=1}^{6}\left\{\frac{x_{i}}{p}-\frac{10-x_{i}}{1-p}\right\}=0\\
\sum_{i=1}^{6}\left\{x_{i}\left(1-p\right)-(10-x_{i})p\right\}=0\\
\sum_{i=1}^{6}x_{i}-\sum_{i=1}^{6}10p=0\\
20-5\cdot 10p=0\quad\left((\ref{二項例データ})より\right)\\
\therefore p=\frac{1}{3}\tag{21}
\end{gather}

となる。

　よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}=\frac{1}{3}}}\)となる。

　ちなみに二項分布における\(p\)の最尤推定値は\(\displaystyle{\hat{p}=\frac{1}{nN}\sum_{i=1}^{n}x_{i}}\)で表せられるが、

\begin{align}
\hat{p}=\frac{1}{6\cdot 10}\sum_{i=1}^{6}x_{i}=\frac{1}{6\cdot 10}\cdot 20=\frac{1}{3}\tag{22}
\end{align}

となり、上の結果と一致する。

カテゴリカル分布

　続いて具体例になるが、データ\(D\)が次のようになる場合を考える。

\begin{align}
D=\left\{\vec{d}{1},\vec{d}{2},…,\vec{d}{n}\right\}&=\left\{\begin{pmatrix}x{1,1}\\ x_{1,2}\\ \vdots \\ x_{1,k}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\\ \vdots \\ x_{2,k}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\\ \vdots \\ x_{n,k}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}0\\ 1\\ \vdots \\ 0\end{pmatrix},\begin{pmatrix}0\\ 0\\ \vdots \\ 1\end{pmatrix},…,\begin{pmatrix}1\\ 0\\ \vdots \\ 0\end{pmatrix}\right\}\label{カテデータD}\tag{23}
\end{align}

　ベクトル\(\vec{d}_{i}\)の成分が1つだけ1、残りは全て0という構成になっている。
　(このようなベクトルをワンホットベクトルという。)

　すなわち、繰り返し回数が1回のみ試行を\(n\)セット実施する。

　このデータ\(D\)がカテゴリカル分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=\prod_{j=1}^{k}p_{j}^{x_{i,j}}\tag{24}
\end{align}

　また尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{n}\prod_{j=1}^{k}p_{j}^{x_{i,j}}\tag{25}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-\sum_{i=1}^{n}\sum_{j=1}^{k}x_{i,j}\log p_{j}\tag{26}
\end{align}

となる。

解説

　\(k=3\)より、確率関数は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=\prod_{j=1}^{3}p_{j}^{x_{i,j}}\tag{28}
\end{align}

　よって尤度関数は

\begin{align}
L(p_{j})=\prod_{i=1}^{5}\prod_{j=1}^{3}p_{j}^{x_{i,j}}\tag{29}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p_{j})=-\sum_{i=1}^{5}\sum_{j=1}^{3}x_{i,j}\log p_{j} \label{カテゴリカル例1}\tag{30}
\end{align}

となる。

　ここで、\(\displaystyle{p_{1}=\frac{1}{5},p_{3}=\frac{4}{5}-p_{2}}\)を(\ref{カテゴリカル例1})に代入して整理すると、

\begin{align}
-\log L(p_{2})&=-\sum_{i=1}^{5}\left\{x_{i,1}\cdot\frac{1}{5}+x_{i,2}\log p_{2}+x_{i,3}\log \left(\frac{4}{5}-p_{2}\right)\right\}\\
&=-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log \left(\frac{4}{5}-p_{2}\right)\right\}+C\label{カテゴリカル例2}\tag{31}
\end{align}

となる。
　(最後の\(C\)に定数部分をまとめた。)

　(\ref{カテゴリカル例2})は凸関数であるため、(\ref{カテゴリカル例2})の導関数が0となる\(p_{2}\)が最尤推定値である。

　よって

\begin{gather}
\frac{d}{dp_{2}}\left\{-\log L(p_{2})\right\}=0\\
\frac{d}{dp_{2}}\left[-\sum_{i=1}^{5}\left\{x_{i,2}\log p_{2}+x_{i,3}\log\left(\frac{4}{5}-p_{2}\right)\right\}+C\right]=0\\
-\sum_{i=1}^{5}\left\{\frac{x_{i,2}}{p_{2}}-\frac{x_{i,3}}{(4/5)-p_{2}}\right\}=0\\
\sum_{i=1}^{5}\left\{x_{i,2}\left(\frac{4}{5}-p_{2}\right)-x_{i,3}p_{2}\right\}=0\\
\frac{4}{5}\sum_{i=1}^{5}x_{i,2}-p_{2}\sum_{i=1}^{5}(x_{i,2}+x_{i,3})=0\\
\frac{4}{5}\cdot 1-p_{2}\cdot 4=0\quad\left((\ref{カテゴリカル例データ})より\right)\\
\therefore p_{2}=\frac{1}{5}\tag{32}
\end{gather}

となる。

　よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}_{2}=\frac{1}{5}}}\)となる。

ベルヌーイ分布

　これも具体例になるが、データ\(D\)が次のようになる場合を考える。

\begin{align}
D=\left\{\vec{d}_{1},\vec{d}_{2},…,\vec{d}_{n}\right\}&=\left\{\begin{pmatrix}x_{1,1}\\ x_{1,2}\end{pmatrix},\begin{pmatrix}x_{2,1}\\ x_{2,2}\end{pmatrix},…,\begin{pmatrix}x_{n,1}\\ x_{n,2}\end{pmatrix}\right\}\\
&=\left\{\begin{pmatrix}1\\ 0\end{pmatrix},\begin{pmatrix}0\\ 1\end{pmatrix},…,\begin{pmatrix}1\\ 0\end{pmatrix}\right\}\tag{33}
\end{align}

　(\ref{二項データD})において、ベクトル\(\vec{d}_{i}\)の2つの成分のうち片方が1、もう片方が0という構成になっている。

　すなわち、起こりうる事象が2種類しかない試行を1回のみ実施し、それを\(n\)セット実施する。

　また単純に片方の成分のみを並べて

\begin{align}
D=\left\{x_{1},x_{2},…,x_{n}\right\}=\left\{1,0,…,1\right\}\tag{34}
\end{align}

としても良い。

　このデータ\(D\)がベルヌーイ分布に独立に従うとき、ベクトル\(\vec{d}_{i}\)が得られる確率\(f(x_{i,j};p_{j})\)は次式のようになる。

\begin{align}
f(x_{i,j};p_{j})=f(x_{i};p)=p^{x_{i}}(1-p)^{1-x_{i}}\tag{35}
\end{align}

　ただし、\(p_{1}=p,p_{2}=1-p,x_{i,1}=x_{i},x_{i,2}=1-x_{i}\)としている。

　また尤度関数は

\begin{align}
L(p)=\prod_{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}\tag{36}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{n}{x_{i}\log p+(1-x_{i})\log (1-p)}\tag{37}
\end{align}

となる。

解説

　確率関数は次式のようになる。

\begin{align}
f(x_{i};p)=p^{x_{i}}(1-p)^{1-x_{i}}\tag{39}
\end{align}

　よって尤度関数は

\begin{align}
L(p)=\prod_{i=1}^{6}p^{x_{i}}(1-p)^{1-x_{i}}\tag{40}
\end{align}

となり、負の対数尤度関数は

\begin{align}
-\log L(p)=-\sum_{i=1}^{6}{x_{i}\log p+(1-x_{i})\log (1-p)}\label{ベルヌーイ例1}\tag{41}
\end{align}

となる。

　(\ref{ベルヌーイ例1})は凸関数であるため、(\ref{ベルヌーイ例1})の導関数が0となる\(p\)が最尤推定値である。

　よって

\begin{gather}
\frac{d}{dp}\left\{-\log L(p)\right\}=0\\
\frac{d}{dp}\left[-\sum_{i=1}^{6}{x_{i}\log p+(1-x_{i})\log (1-p)}\right]=0\\
-\sum_{i=1}^{6}\left\{\frac{x_{i}}{p}-\frac{1-x_{i}}{1-p}\right\}=0\\
\sum_{i=1}^{6}\left\{x_{i}\left(1-p\right)-(1-x_{i})p\right\}=0\\
\sum_{i=1}^{6}x_{i}-\sum_{i=1}^{6}p=0\\
4-6\cdot p=0\quad\left((\ref{ベルヌーイ例データ})より\right)\\
\therefore p=\frac{2}{3}\tag{42}
\end{gather}

となる。

　よって、求める最尤推定値は\(\boxed{\displaystyle{\hat{p}=\frac{2}{3}}}\)となる。

　ちなみにベルヌーイ分布における\(p\)の最尤推定値は\(\displaystyle{\hat{p}=\frac{1}{n}\sum_{i=1}^{n}x_{i}}\)で表せられるが、

\begin{align}
\hat{p}=\frac{1}{6}\sum_{i=1}^{6}x_{i}=\frac{1}{6}\cdot 4=\frac{2}{3}\tag{43}
\end{align}

となり、上の結果と一致する。

終わりに

　今年3月にG検定を受けて合格した流れでE資格の勉強も始めてしまった。

　受検するにはJDLA認定プログラムを2年以内に修了しておかなければならないが、受講価格がまだお手頃とは言えないため様子見している。

　とりあえず問題集だけ買って自分のペースで勉強しているが、もっとハイペースで進めらんないもんか…

　仕事の都合で別の勉強もしなきゃならなくなったから、現状ペースダウンが必須だがギブアップはしないようにしたい。

　

　END