ここでは、2つのガウス分布 $p_1(x)$ と $p_2(x)$ の間のクロスエントロピー $H(p_1, p_2)$ を閉形式で導出します。
準備
ガウス分布 (正規分布)
平均 $\mu$、分散 $\sigma^2$ のガウス分布の確率密度関数は次の通りです。
$$ p(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\lbrace-\frac{(x-\mu)^2}{2\sigma^2}\rbrace $$
期待値と分散の性質
確率変数 $X$ がガウス分布に従うとき、
- 期待値: $\mathbb{E}[X] = \mu$
- 分散: $\mathbb{V}[X] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 = \sigma^2$
- したがって、$\mathbb{E}[X^2] = \mu^2 + \sigma^2$
クロスエントロピーの導出
2つのガウス分布 $p_1(x) = \mathcal{N}(x | \mu_1, \sigma_1^2)$ と $p_2(x) = \mathcal{N}(x | \mu_2, \sigma_2^2)$ の間のクロスエントロピー $H(p_1, p_2)$ は、以下のように定義されます。
$$ H(p_1, p_2) = -\int_{-\infty}^{\infty} p_1(x) \log p_2(x) dx = -\mathbb{E}_{p_1}[\log p_2(x)] $$
ここで、$\log p_2(x)$ は以下のようになります。
$$ \log p_2(x) = \log (\frac{1}{\sqrt{2\pi\sigma_2^2}} \exp\lbrace-\frac{(x-\mu_2)^2}{2\sigma_2^2}\rbrace) $$ $$ = -\frac{1}{2} \log(2\pi\sigma_2^2) - \frac{(x-\mu_2)^2}{2\sigma_2^2} $$
これを期待値の式に代入します。
$$ H(p_1, p_2) = -\mathbb{E}{p_1}[-\frac{1}{2} \log(2\pi\sigma_2^2) - \frac{(x-\mu_2)^2}{2\sigma_2^2}] $$ $$ = \frac{1}{2} \log(2\pi\sigma_2^2) + \frac{1}{2\sigma_2^2} \mathbb{E}{p_1}[(x-\mu_2)^2] $$
ここで、$\mathbb{E}_{p_1}[(x-\mu_2)^2]$ を展開します。
$$ \mathbb{E}{p_1}[(x-\mu_2)^2] = \mathbb{E}{p_1}[x^2 - 2x\mu_2 + \mu_2^2] $$ $$ = \mathbb{E}{p_1}[x^2] - 2\mu_2 \mathbb{E}{p_1}[x] + \mu_2^2 $$
$p_1(x)$ は平均 $\mu_1$、分散 $\sigma_1^2$ のガウス分布なので、$\mathbb{E}{p_1}[x] = \mu_1$ および $\mathbb{E}{p_1}[x^2] = \mu_1^2 + \sigma_1^2$ を代入します。
$$ \mathbb{E}_{p_1}[(x-\mu_2)^2] = (\mu_1^2 + \sigma_1^2) - 2\mu_2 \mu_1 + \mu_2^2 $$ $$ = (\mu_1 - \mu_2)^2 + \sigma_1^2 $$
これを元のクロスエントロピーの式に代入すると、
$$ H(p_1, p_2) = \frac{1}{2} \log(2\pi\sigma_2^2) + \frac{(\mu_1 - \mu_2)^2 + \sigma_1^2}{2\sigma_2^2} $$
これが、2つのガウス分布間のクロスエントロピーの閉形式表現です.