二項分布の最尤推定量

パラメータθに従う分布の密度関数をf(x;θ)とする。尤度関数をL(θ;x)=f(x;θ)とすると、L(θ;x)を最大にするような推定量θ=θ^をθの最尤推定量という。

二項分部の密度関数は、
例) 表の確率= $\theta$。裏の確率 = $(1 - \theta)$

$$ f(x;\theta)={}_nC_x\theta^x(1-\theta)^{n-x} $$

なので、尤度関数は

$$ L(\theta;x)={}_nC_x\theta^x(1-\theta)^{n-x} $$

このL(θ;x)が最大になるようなθを考える。 ただし、この関数を微分するのは大変なので、対数尤度関数を微分する

$$ l(\theta)=logL(\theta;x) $$

$$ l(\theta)=logL(\theta;x)=log[{}_nC_x\theta^x(1-\theta)^{n-x}] \\ =log[\frac{n!}{x!(n-x)!}\theta^x(1-\theta)^{n-x}] \\ =log(n!)-log(x!)-log(n-x)!+log\theta^x+log(1-\theta)^{n-x} \\ =log(n!)-log(x!)-log(n-x)!+xlog\theta+(n-x)log(1-\theta) $$

NOTES:

  • 対数の割り算=対数の引き算
  • 対数の掛け算=対数の足し算
  • 対数の指数=対数の係数

NOTES: $$ (\log x)' = \frac{1}{x} \\ (\log_a x)' = \frac{1}{x \log a} $$

となるので、θで微分すると、

$$ l'(\theta)=\frac{x}{\theta}-\frac{n-x}{1-\theta} \\ =\frac{x(1-\theta)-(n-x)\theta}{\theta(1-\theta)} \\ =\frac{x-n\theta}{\theta(1-\theta)} $$

が得られる。これが0となるとき最大になるので、

$$ \frac{x-n\theta}{\theta(1-\theta)}=0 \
\Leftrightarrow x-n\theta=0 \\ \Leftrightarrow x=n\theta \\ \Leftrightarrow \theta=\frac{x}{n} $$

以上より、$\hat{\theta}=\frac{x}{n}$がθの最尤推定量となる

REFERENCES:

  • https://to-kei.net/basic-study/estimator/maximum-likelihood-estimation/