正定値行列と共分散とフィッシャー情報量(と機械学習との関連について少々)

  • ????????????????????


確率統計ででてくる基本的な2つの行列(共分散行列、フィッシャー行列)の半正定値性はほとんど同じ方法で証明できる、ということについて。最後の方は機械学習と関連したすこしマニアックな話題。

関連1 → Cramer-Rao’s theorem
関連2 → 正定値行列と共分散(に関する駄文)

共分散行列の半正定値性

そもそも、共分散行列が半正定値になる理由は、任意のベクトル \(u\) に対して
\begin{align}
u^T\rm{Cov}[\boldsymbol X]u
&=\int u^T(\boldsymbol x-\bar{\boldsymbol x})
(\boldsymbol x-\bar{\boldsymbol x})^TudF(x)\\
&=\int |u\cdot(\boldsymbol x-\bar{\boldsymbol x})|^2dF(x)\ge0
\end{align}
となることから明らか。

フィッシャー情報量の半正定値性

同様に、フィッシャー情報量が半正定値行列になる理由は \(l(x|\theta)=\log f(x|\theta)\) として
\begin{align}
u^TI(\theta)u
&=u^TE[\nabla_\theta l(X|\theta)\cdot\nabla_\theta^Tl(X|\theta)]u\\
&=\int |u\cdot\nabla_\theta l(x|\theta)|^2dF(x|\theta)\ge0
\end{align}
より明らか。よって逆行列が存在すれば(つまりフィッシャー行列が退化していなければ) \(I(\theta)^{-1}\) も正定値。

さらに、任意の行列 \(A\) に対して \(A^TI(\theta)^{-1}A\) も半正定値(\(A\) が退化することもあるので「半」がくっついてくる)。これも上と全く同じ論法で終了。なのでクラメール・ラオのエントリーで出てきた次の式
\begin{align}
\mathrm{Cov}_{\boldsymbol{\theta}}
\left(\boldsymbol{W}(\boldsymbol X)\right)\geq \frac {\partial \boldsymbol{\tau}
\left(\boldsymbol{\theta}\right)} {\partial \boldsymbol{\theta}}
[I\left(\boldsymbol{\theta}\right)]^{-1}
\left( \frac {\partial
\boldsymbol{\tau}\left(\boldsymbol{\theta}\right)}
{\partial \boldsymbol{\theta}}\right)^T
\end{align}
の右辺も左辺も半正定値になることがわかる。

機械学習とフィッシャー情報量

このくらいまで書くとフィッシャー情報行列が退化する、というワクワクする状況についても書きたくなってくる。フィッシャー情報量 \(I(\theta)\) がモデルの真のパラメータのところで退化するケース。ゼロ固有値を持ち、その逆行列は存在しない(形式的には固有値ゼロで割るので逆行列が無限大に発散する)。こういう状況は機械学習でしばしば生じる。

(誤差項に正規分布を仮定して確率モデルとして扱った場合の)多層パーセプトロンとかがこれに該当する。他にはHMMとか隠れノードのあるベイジアンネットとか。hidden state がある場合に退化することが多いっぽい。ちなみに SVM はそもそも確率モデルでないので対象外。

フィッシャー行列が退化すると何がまずいのか、というと、多層パーセプトロンはバックプロパゲーションするとローカルミニマムに落ちるからそもそも最尤推定は難しいのだけれども、直感的に言うと、たとえ最尤推定できたとしても、クラメール・ラオの下限が発散するので、最尤推定量のバラつきも無限大になる、ということを暗に意味している。

これは(悪い意味で)指数型分布族とは著しく異なる性質だ。指数型分布族的なものを正則モデル(regular model)というのに対して、特異モデル(singular model)というらしい。こいつらに対しては AIC などのモデル選択も理論的にはうまくいかない(実用的にはそれなりにうまくいくという話は周りの人たちからはよく聞く)。

そういうわけで、点推定はうまくいかないので、ベイズ推定をすることになる。ベイズ推定なら特異モデルに対しても漸近的な性質を導くことができる。くわしいことは特異モデルの機械学習のベイズ推定の理論の本 “Algebraic Geometry and Statistical Learning Theory” に書いてある(難易度:個人的な感想としては激高)。

はてなブックマーク - 正定値行列と共分散とフィッシャー情報量(と機械学習との関連について少々)
Pocket