正規分布における最尤推定

20世紀初頭に統計学者ロナウド・フィッシャーにより提案された統計的推定手法．

尤度とは，$x$を観測値,$\theta$をパラメータとしたときの条件付き確率$p(x|\theta)$である．このとき，$p(x|\theta)$はパラメータが$\theta$であるときの観測値$x$の確率分布である．

$$p(x|\theta)=\Pi_{i=1}^np(x^i|\theta)$$

この尤度関数$p(x|\theta)$を最大化する$\theta$を求める方法を最尤推定とよぶ．

統計学や機械学習では指数分布の形をした確率分布を使うことが多いため，式変形の簡単化から対数尤度関数$\log p(x|\theta)$の最大化を行う場合が多い．

ここでは，観測値xが正規分布に従って生成されるモデルを考える．正規分布のもつパラメータは$\mu$と$\sigma$であり，これらが$\theta$に相当する．

正規分布の対数尤度関数を式変形する

$$\log p(x|\mu,\sigma) = - \frac{\sum_{i=1}^n(x^i-\mu)^2}{2\sigma^2}-\frac{n}{2}\log \sigma^2-\frac{n}{2}\log2\pi$$

この右辺を最大化する$\mu$を求めたいので，$\mu$で微分する．

$$\frac{d \log p(x|\mu,\sigma)}{d\mu}=\frac{\sum_{i=1}^n(x^i-\mu)}{\sigma^2}$$

これが，0となる場合

$$\mu = \frac{1}{n}\sum_{i=1}^nx^i$$

観測値$x^i$の平均が正規分布における$\mu$の最尤推定値となる．これが，算術平均が幾何平均よりも広く使われている理由となっている．

$\sigma^2$で正規分布の対数尤度関数を微分する．

$$\frac{d \log p(x|\mu,\sigma)}{d\sigma^2}= \frac{\sum_{i=1}^n(x^i-\mu)^2}{2(\sigma^2)^2}-\frac{n}{2\sigma^2}$$

これが，0となる場合

$$\sigma^2 = \frac{1}{n}\sum_{i=1}^n(x^i-\mu)^2$$

$\mu$の推定値である標本平均を上式に代入して得られるのが標本分散となる．

参考

Tags: