確率の基礎
用語
- 命題:真か偽のいずれかになりうる文
- 確率分布:命題に対してそれが生じる確率を与える対応関係.
確率分布に命題を引数として与えると確率が出力される. - 事象:確率分布の入力となる命題
- 確率変数:確率的に値が決まる変数
同時確率・周辺確率・条件付き確率
同時確率
2つの出来事が共に生じる確率.
$$p(x,y) = p(y,x)$$
周辺確率
確率変数$x$とyの同時確率$p(x,y)$から,片方の変数を足し合わせることにより$p(x)$もしくは$p(y)$を求めることを周辺化とよび,周辺化によって求まる$p(x),p(y)$を周辺確率と呼ぶ.
$$\int p(x,y) dx = p(y)$$
条件付き確率
確率変数xが定まった上で,確率変数$y$が起こる確率$p(y|x)$.
$$p(y|x)=\frac{p(x,y)}{p(x)}$$
確率変数の独立性
2つの確率変数が依存関係を持たないとき,独立と表現する.$x$と$y$が独立である場合,以下の式を満たす.
$$p(x,y)=p(x)p(y)$$
独立でない場合を従属と呼ぶ.
条件付き独立性
独立ではないが,ある条件が定まった後は独立となる.
$$p(x,y|z)=p(x|z)p(y|z)$$
連続変数の分布
たとえば時速のような連続値を確率変数として考える場合,1.00km/hである確率,1.01km/hである確率など無限になる可能性がある.無限の可能性のそれぞれに0より大きい確率を割り当てると総和が無限となってしまう.(確率の総和は1)
→累積確率関数,確率密度関数を用いる
累積確率関数
累積確率関数F(x)は「確率変数の値がx以下である確率」を表す.
確率密度関数
確率密度関数は累積確率関数の微分として定義される.
さまざまな確率分布
- 指数分布:0に近い値ほど起きやすく.大きくなるほど起こりにくい.部品がどのタイミングで故障するかなど時間の長さの分布は指数分布に従う.自然界では放射性物質の半減期が指数分布に従う.$\lambda$はパラメータ
$$p(x|\lambda)= \lambda \exp (-\lambda x) $$
- ラプラス分布:指数分布の形を保ったまま定義域を負の範囲にも拡大することを考えた場合,積分が発散してしまう.そこで絶対値を用いて作られた分布.($x^2$を用いて作られた分布が正規分布)
$$p(x|\lambda)= \frac{\lambda}{2} \exp (-\lambda |x|) $$
期待値
確率変数xが確立分布$p(x)$に従い,$x$によって値が決まる関数$f(x)$を考える.このとき,期待値は以下のように表される.
$$\mathbb{E}[f(x)]=\int p(x)f(x)dx$$
参考
- 手塚 太郎,"しくみがわかるベイズ統計と機械学習"