推定量と分散について

統計的な推定問題における推定量の分布について考えてみたいと思います。

例として \(\{X_1,\; \cdots,\; X_n\}\) という独立な指数分布からのサンプルを考えます。
指数分布とは \(\lambda>0\) というパラメータを持つ確率分布で密度関数は

\begin{align*}
f(x|\lambda)=\lambda\exp(-\lambda x)
\end{align*}
のようなものです。したがって尤度関数 \(L(\lambda)\) は

\begin{align*}
L(\lambda)&=\prod_{i=1}^n\lambda\exp(-\lambda X_i)\\
&=\lambda^n\exp\bigg(-\lambda\sum_{i=1}^n X_i\bigg)
\end{align*}
となりますが、n乗根 \(L(\lambda)^{1/n}\) を最大化しても同じことなので,新しい尤度関数 \(\hat{L}(\lambda):=L(\lambda)^{1/n}\) は

\begin{align*}
\hat{L}(\lambda)&=\lambda\exp\bigg(-\lambda\cdot\frac{1}{n}\sum_{i=1}^n X_i\bigg)\\
&=\lambda\exp(-\lambda\bar X)
\end{align*}
となります。このことは平均値さえ知っていれば最尤推定ができることを意味しています。つまり、
\begin{align*}\hat\lambda=1/\bar X\end{align*}という推定量が得られます。
“推定量と分散について”の続きを読む

ランダム行列で遊んでみる (2)

前回のつづきです。次のグラフは 250 x 250 の実非対称行列の固有値の分布を複素平面上にプロットしたものです。

randommatrix3.png

このグラフが上下対称になることは、非常に簡単にわかります(前回参照)。
さらによーくみてみると、虚部がゼロな固有値がいくつか存在していることがわかります。
つまり、固有方程式が実根をもつ、ということですね。

もし本当に円盤の上にランダムに分布しているのならば、このようなことは決して起こらないでしょう(測度の意味で)。
一方で、この固有値たちはランダムな実係数の固有方程式
f(\lambda)=0の根となっていることを考えると、(ものすごくいい加減な言い方ですが)\(y=f(\lambda)\) のグラフはランダムに激しく振動しそうなので、 y=0 の直線と交わることは、0より大きな確率で起こりそうな気もします。

“ランダム行列で遊んでみる (2)”の続きを読む

ランダム行列で遊んでみる

ランダム行列というのは成分がランダムに与えられる行列のことです。
ランダム行列で普通問題になるのは、ランダムに生成された行列の固有値がどのように分布するか、
という問題のようです。

おもしろそうなので R を使って実験してみました。

1000次元の正方行列を考えて各要素は独立に標準正規分布に従うとします。
こうしてできる行列は実非対称な行列になります。

これを R で書くと

A=matrix(rnorm(1000000),nc=1000)
Eigen=eigen(A)
plot(Eigen$value,xlab="Re",ylab="Im")
title("Eigen value of real\nnonsymmetric 1000x1000 matrix")

となります(簡単!)。

以下が結果です。
不思議なことに円状に固有値が分布します。また、実軸に対して上下に対称に分布していることがわかります(これは固有方程式が実係数になるので、複素数解は必ず共役を解に持つ、ということから明らかですね)。

randommatrix.png

“ランダム行列で遊んでみる”の続きを読む