共役事前分布について

定義など少し混乱気味になって、調べてみたので書いてみました。

定義

パラメトリックな確率分布の族 \(\{p(\theta); \theta\in\Theta\}\) を考える。確率変数 \(X\) の従う分布が \(p(x|\theta)\) のとき(もしくはそのように仮定するとき)、ベイズの定理より事後分布は

\begin{align*}
p(\theta|x)\propto p(x|\theta)p(\theta)
\end{align*}

となるが、このとき事前分布 \(p(\theta)\) と事後分布 \(p(\theta|x)\) が同じ分布族に属するときに \(p(\theta)\) は \(p(x|\theta)\) の共役事前分布であるという。同じ分布族に属するので、事前パラメータ \(\theta_0\) とデータ \(x\) が決定されると事後パラメータ \(\tilde\theta\) は \(\theta_0, x\) の関数として\(\tilde\theta(\theta_0, x)\) と書ける。
“共役事前分布について”の続きを読む

ディリクレ分布に関するメモ (3)

すこし予定を変更して、今回はディリクレ分布を可視化してみます。
次元が高いとプロットできないので、3次元のディリクレ分布を可視化することにします。


三次元なのでこのような三角形の上に確率変数が分布します。ディリクレ分布のパラメータをいろいろ変えながら、この三角形上にランダムにサンプルされたディリクレ分布をプロットしていきます。そのためにはディリクレ分布に従う乱数を発生させるアルゴリズムが必要になります。 “ディリクレ分布に関するメモ (3)”の続きを読む