• 【統計】[いろいろな推定量]最尤法の続き・推定量の不偏性

    2018-06-20 18:32
    前回やった最尤推定をもう少し一般化して、分布を決めるパラメータが複数である場合(パラメータベクトル)にも適用できるようにします。

    【定義】
    未知のパラメータベクトル θ↑ から定まる分布に従う標本の実現値が Y_1 = y_1, Y_2 = y_2, ... Y_n = y_n であるものとする。
    このとき、分布の確率密度関数を f(x;θ↑) として、未知パラメータベクトル θ↑ を含む
    尤度という。尤度を最大化するベクトル θ↑=(θ_0)↑ の各成分を最尤推定量という。■

    【例】
    パラメータ2個で決まる分布として、(1次元)正規分布平均 μ分散 σ^2 (”σ^2”で単一の変数のように見なす)を考えます。つまり、
    という状況です。
    尤度を最大化するために、前回と類似の考えで「それぞれのパラメータでの偏微分=0(1階条件)」(連立条件)とします。また、これも前回と同じく、尤度そのものの代わりに対数尤度の最大化を考えます。また、標本サイズは n 個としましょう。以上の前提で計算すると、
    2式を連立させて、

    この【例】の結果を元に、推定値の不偏性について改めて考えてみます。

    【定義】
    (標本数nは固定しておく。)分布の未知パラメータ θ の推定量 t(Y_1, Y_2, ... ,Y_n) が不偏推定量であるとは、 θ=θ_0 の真の値がいくらであっても、
    期待値
    となることをいう。■

    概念が微妙にごちゃごちゃしているので、いくつか確認しておきます。
    まず、母集団からの標本(標本量)は、抽出を通して値が確率的に定まるため確率変数です。標本量を1つまたは複数持ってきて合成した関数もやはり確率変数で、これを一般に統計量といいます(何ら意味をなさないような出鱈目に作ったものも、一応定義上は統計量に含める)。
    推定量とは、母集団に関する何らかの『推定』のために用いられる統計量の一種で、当然これも確率変数です。
    標本量、統計量、推定量は標本を実際に採ってみると特定の実数値に確定します。これらをそれぞれ、標本値統計値推定値と呼びます。
    これらの術語はこうして区別されているのですが、実際には割とルーズに混用されているかもしれません。
    不偏推定量の定義に戻ると、ここでは(何らかの分布に従う)n個の確率変数の期待値を考えています。最も一般的な状況では、こうした計算には同時確率密度分布(同時確率密度関数)が必要です。
    【定義】
    確率変数ベクトル X↑=(X_1, X_2, ... ,X_n) が従う分布の同時確率密度関数が f(x↑) であるとは、
    となることをいう。■
    前回やった単一の確率変数についての確率密度関数を、そのまま多変数の場合に拡張しただけです。

    【定理】
    (1)確率密度関数 f(x) をもつ分布に従う確率変数 X と任意の1変数実数値関数 φ について、
    (2)同時確率密度関数 f(x↑) をもつ分布に従う確率変数ベクトル X↑ と任意のn変数実数値関数 φ について、



    「定理」と呼んでいますが、実は厳密に考えると"期待値"の定義にまで遡らないとこの等式の意味するところははっきりしないのです。しかしそれをやろうとすると公理的確率論(コルモゴロフ)にまで深入りしないといけないので、ここでは単に期待値の計算手段と捉えることにします。

    話がかなり抽象的になってきたので、再び正規分布の例に戻り、平均 μ と分散 σ^2 の最尤推定量の不偏性について考えましょう。
    …と、長くなってきたので次回へ。
  • 広告
  • こみっくがーるず 第11話 「人生のピークがきたんです」を観た感想

    2018-06-15 00:19
    泣けるだろこんなん…
    自分はこういうシンプルな展開がすごく好きです(主張)
  • [数理のメモ帳](6)坂道を転がり落ちるボールの剛体力学(part2)

    2018-06-08 18:55
    剛体の角運動量の時間微分を計算しようとしていたのでした。
    一旦微小部分 Ω_i の時間微分に立ち返ると、
    これを足し上げるのですが、ここで
    「2つの微小部分にはたらく力は、それらを結ぶ直線と平行な向き」
    という仮定を設けると(なぜ『仮定』なのかといえば、そうでないような場合もあるからです。真っ先に挙げられる例として、運動する2つの点電荷間にはたらくローレンツ力はこの仮定を満たしません。以下こういう特殊な場合は考えないことにします。)、力のベクトルと位置ベクトルの差の外積が
    と消えてくれます。
    よって、
    この右辺は、原点のまわりの力のモーメントと呼ばれるベクトル量です。
    後の計算を簡単にするため、この等式を更に変形して、重心のまわりの角運動量とモーメントを結びつける式を導出しましょう。

    【命題】
    〔証明〕
    ここで

    なので、
    これの両辺を微分したいのですが、
    なので、

    計算が延々と続いて疲れてきました。ここまでに出てきた主要な式をまとめると、こんな感じです。


    と、このように並べてみると2通りの条件式が得られたように見えますが、実はそういうわけではなく、2式目は1番目の等号を前提として単に式変形していっただけです。なので、1式目と独立して何か新しく自然法則が出てきているわけではありません
    更に、ここまで「剛体がどうこう」という話をしてきていたはずなのですが、これら2式は別に考察対象が剛体でなくとも、例えば質点の集まりが衝突したり分裂したり合体したりする場合であっても成り立つ、普遍的な式です
    …じゃあ何のために苦労してこれら2式を導出してきたかというと、剛体に関してまだ用いていない非常に顕著な性質「(瞬間瞬間で)ある特定の軸を中心として回転する」を、なるべく簡潔に数式に落とし込むためには、2式目のような回転に関する等式が是非とも必要だからです。
    このあたりの計算を次回やることにします。