Mathematics, technologies, weblog, and my lifelog
データの列数が多くなってくる (高次元になってくる) とデータの全体像が捉えにくくなる．R-bloggers を読んでたら，Rのデータフレームを可視化するためのパッケージ tabplot なんてのがあるらしい，ということで試してみた．コレを使うとデータを効率的に可視化できるので，よくわからないデータをとりあえず可視化してみて，それからあれこれ考えてみると捗るかもしれない．
CRAN から tabplot パッケージをインストールすればすぐに使える (類似の名前で tableplot なんてのがあるので注意)．
“[R] データフレームを可視化するtabplotパッケージについて”の続きを読む
モデルを選択したり、変数を選択したり、というようなことに関係しそうなネタを簡単に整理してみた。
AIC / BIC / DIC / TIC のような。データのあてはまりのよさとモデルの複雑度を天秤に図るタイプのやつ。
たくさん種類があるのは確率モデルに関する仮定と汎化誤差の近似の仕方の違いによるものだと理解している。
回帰係数が０である、という帰無仮説を検定することである変数が貢献しているかどうかを定量化するタイプのやつ。棄却されなければ「えい！」と変数を削ってしまう。
ささっと分析してデータの雰囲気を掴みたい時に使うことはある。
寄与度の小さな（ある閾値より小さな）係数をゼロにしてしまう、というような感じのやつ。
事前分布としてラプラス分布を使うことに相当。単純に寄与度が低い変数は消してしまえ！というノリなのだろうか？もっと深遠な背景があるのだろうか？勉強不足でよくわからない。
複数のモデルに事前分布を設定して、「モデルの事後分布」を計算するたぐいのもの。事後分布が求まったあとはMAPなものを選んでくるか、事後分布で平均をとってしまうか。
たとえばディリクレ混合過程。これはGMMのような混合モデルの混合数の事後分布を求めることができる。
PRMLの変分ベイズのところで出てきた関連度自動決定もこのタイプだと思っていいのだろうか。これも勉強不足により不明。
***
いろいろと抜けがあるとは思うが、とりあえずすぐに思いついたのはこれくらい。場合によっては追記します。
相関の強い二変量正規分布に対してハイブリッドモンテカルロを使ってみた。上から順に、サンプリング結果、x1の自己相関、x2の自己相関。
自己相関ほぼ完全になし、という結果になった。ギブスサンプラーだとこうはいかない。ただし、
という点は追記しておきます。
昔の勉強ノートを引っ張りだしてくるシリーズ．
機械学習の対数線形モデルが最大エントロピー法とも呼ばれる，みたいな記述は頻繁に目にするし，統計力学のボルツマン分布の話とか考慮すれば，なんとなくそうなってそうな気はするけど，実際どうなの？というのを (たんに好奇心を満たすために) 調べてみた．実用上は何の意味ないと思う．
対数尤度関数に L1 正則化項を加えるタイプの目的関数を使った場合，もはやエントロピーは最大化されない，とかそういうわりとどうでもいいことがわかったりするかもしれない．
「言語処理のための機械学習入門 (→ amazon) 」などに出てくるタイプの対数線形モデルの係数の最尤推定量が，エントロピーを「ある制約条件下」で最大化した場合のラグランジュ未定乗数に対応することを説明する (クロス表の対数線形モデルとはたぶん別物)．
ただし，記号が煩雑になるのを避けるため，対数線形モデルとほぼ同一の構造を持ち，記号が煩雑でない条件付きロジットモデルがエントロピー最大化と等価であることを見る．
本文の最後に対数線形モデルと等価なエントロピー最大化問題を示す．多少ややこしくなるが，同じ方針で証明可能．
“対数線形モデルとエントロピー最大化の関係”の続きを読む
この本「行動ゲーム理論入門」はたまたま本屋で見かけてパラパラと見ていたら、経済学の本にもかかわらず「チューリングマシン」だとか「強化学習」だとかいう一見経済学とは関連の薄そうな単語があったので、興味深いな、と思って脊髄反射的に購入した。僕はこの分野は全く知らない状態でこの本を読み始めたのだけど、非常に刺激的な本だったので記憶が鮮明なうちに書いておくことにする。
Chrome で evernote プラグインを使ってるときに google 検索すると evernote の検索結果も同時に出てくるアレの話です。ピンとこない人は関係ないはずです。
あの検索結果は個人的には結構便利だとは思うのですが、レイテンシがわりと大きいため、一番上のリンクをクリックしようとした瞬間にあの水色のボックスが出現したりすることが多いのが少し困る。
かといって機能を切ってしまうのもなんとなく忍びないのですこし改良してみた。最初は javascript だけでやろうとしたけど、手持ちの chrome には stylebot という拡張機能がついていたのでそれを使うことにした。
“Google検索時に出てくるevernoteのアレの位置を変更する”の続きを読む