二項分布とその関連分布

ベルヌーイ分布 (Bernoulli Distribution)

ベルヌーイ分布は、結果が2通りしかない試行（例: コイン投げの表か裏、成功か失敗）をモデル化する離散確率分布です。通常、成功を1、失敗を0で表します。

確率質量関数は以下の通りです。

\[ p(x|\mu) = \mu^x (1 - \mu)^{1-x} \]

ここで \(x\) は0または1の値をとります。

二項分布は、ベルヌーイ試行を独立に \(m\) 回繰り返したときに、成功が \(r\) 回起こる確率を表す離散確率分布です。

確率質量関数は以下の通りです。

\[ p(r|m, \mu) = \binom{m}{r} \mu^r (1 - \mu)^{m-r} \]

ここで \(\binom{m}{r} = \frac{m!}{r!(m-r)!}\) は二項係数です。

ベルヌーイ分布を、結果が3つ以上のカテゴリに分類される試行に一般化したものです。例えば、サイコロを1回振ったときの出目をモデル化する場合などです。

確率質量関数は以下の通りです。

\[ p(x|\mu) = \prod\_{j=1}^k \mu_j^{x_j} \]

ここで \(x\) はone-hotベクトル（例えば、カテゴリ \(j\) が出現した場合、その要素 \(x_j\) のみが1で、他は0）です。

この分布は、特に1回の試行の結果を表す場合にカテゴリカル分布と呼ばれます。

二項分布を、カテゴリカル分布の試行を独立に \(m\) 回繰り返したときに、各カテゴリがそれぞれ何回ずつ出現するかを表す分布に一般化したものです。

確率質量関数は以下の通りです。

\[ p(x*1, \dots, x_k | m, \mu_1, \dots, \mu_k) = \frac{m!}{x_1! x_2! \dots x_k!} \mu_1^{x_1} \mu_2^{x_2} \dots \mu_k^{x_k} \]

ここで \(m = \sum*{j=1}^k x_j\) は試行回数の合計です。