正規分布（Normal Distribution）は、ガウス分布（Gaussian Distribution）とも呼ばれ、連続確率変数の分布の中で最も広く用いられているものの一つです。自然現象や社会現象における様々なデータの分布を近似するためによく使われます。例えば、測定誤差や生物の身長、テストの点数などが正規分布に従うことが多いとされています。
正規分布は、平均（\(\mu\)）と分散（\(\sigma^2\)）の2つのパラメータによってその形状が完全に決定されます。
標準正規分布
最も基本的な正規分布は、平均が0、分散が1の正規分布であり、これを標準正規分布と呼びます。その確率密度関数は以下の通りです。
\[ p(x) = \frac{1}{\sqrt{2\pi}} \exp\lbrace-\frac{x^2}{2}\rbrace \]この関数は、全区間での積分値が1になるように正規化されています。
平行移動（平均 \(\mu\) の導入）
標準正規分布は平均が0ですが、分布の中心を任意の \(\mu\) に移動させたい場合は、変数を \(x - \mu\) に置き換えることで実現できます。
\[ p(x | \mu) = \frac{1}{\sqrt{2\pi}} \exp\lbrace-\frac{(x - \mu)^2}{2}\rbrace \]この分布は、平均 \(\mu\)、分散1の正規分布です。
スケーリング（分散 \(\sigma^2\) の導入）
分布の広がり（ばらつき）を調整したい場合は、分散 \(\sigma^2\) を導入します。標準正規分布の確率密度関数を2階微分すると、変曲点が \(x = \pm 1\) であることがわかります。この変曲点の位置を \(\sigma\) にしたい場合、変数を \(x/\sigma\) に置き換え、さらに正規化定数を調整します。
\[ p(x | 0, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\lbrace-\frac{x^2}{2\sigma^2}\rbrace \]この分布は、平均0、分散 \(\sigma^2\) の正規分布です。
一般の正規分布
上記の平行移動とスケーリングを組み合わせることで、任意の平均 \(\mu\) と分散 \(\sigma^2\) を持つ一般の正規分布 \(\mathcal{N}(x | \mu, \sigma^2)\) の確率密度関数が得られます。
\[ \mathcal{N}(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\lbrace-\frac{(x - \mu)^2}{2\sigma^2}\rbrace \]参考
- 手塚 太郎, 『しくみがわかるベイズ統計と機械学習』, 講談社 (2017)