モデルを選択したり、変数を選択したり、というようなことに関係しそうなネタを簡単に整理してみた。
情報量基準
AIC / BIC / DIC / TIC のような。データのあてはまりのよさとモデルの複雑度を天秤に図るタイプのやつ。
たくさん種類があるのは確率モデルに関する仮定と汎化誤差の近似の仕方の違いによるものだと理解している。
検定
回帰係数が0である、という帰無仮説を検定することである変数が貢献しているかどうかを定量化するタイプのやつ。棄却されなければ「えい!」と変数を削ってしまう。
ささっと分析してデータの雰囲気を掴みたい時に使うことはある。
L1正則化
寄与度の小さな(ある閾値より小さな)係数をゼロにしてしまう、というような感じのやつ。
事前分布としてラプラス分布を使うことに相当。単純に寄与度が低い変数は消してしまえ!というノリなのだろうか?もっと深遠な背景があるのだろうか?勉強不足でよくわからない。
ベイズモデル選択
複数のモデルに事前分布を設定して、「モデルの事後分布」を計算するたぐいのもの。事後分布が求まったあとはMAPなものを選んでくるか、事後分布で平均をとってしまうか。
たとえばディリクレ混合過程。これはGMMのような混合モデルの混合数の事後分布を求めることができる。
PRMLの変分ベイズのところで出てきた関連度自動決定もこのタイプだと思っていいのだろうか。これも勉強不足により不明。
***
いろいろと抜けがあるとは思うが、とりあえずすぐに思いついたのはこれくらい。場合によっては追記します。