日々の事柄に関する雑記帳。



用語

GLM
Generalized Linear Model
一般化線形モデル
GLMM
Generalized Linear Mixed Model
一般化線形混合モデル
HBM
Hierarchical Bayes Model
階層ベイズモデル
MCMCMArkov Chain Monte Carlo
overdispersion過分散

パラメータ推定法

最小二乗法線形モデルデータのばらつきが正規分布する前提。
最尤推定法一般化線形モデルデータに合わせて適切な確率分布を選択する。
データのばらつきが正規分布以外の場合にも対応可能。
一般化線形混合モデル変量効果(個体差、場所差など)に対応可能。
MCMC階層ベイズモデル

一般化線形モデルでは、モデルが複雑化する。→個体差を表すパラメータ数が増える。→パラメータの最尤推定計算負荷が高くなる。

最尤推定の探索

  1. グラフ上を移動可能なの点qがある。
  2. 現在の尤度よりも高いほうへ移動する。
  3. 尤度が変化しなくなるまで移動し続ける。→尤度最大
  • 個体差があるとか分散が生じる。
  • 個体差の原因は観測できないし、されてもいない。

メトロポリス法の探索

  1. qの初期値を選択する。
  2. qはランダムに増減する。→変化したqをqnewとする。
  3. qとqnewの尤度を比較する。
  4. 延々と繰り返すとqの確率分布を得られる。
L(qnew) > L(q)qnewをqとする。
qが改善した。
L(qnew) < L(q)qはそのまま。
qが改悪した。

r = L(qnew) / L(q)
確率 rqnew -> q
確率 1 - rqはそのまま

MCMCがランダム・サンプリングしているもの→尤度に比例する確率分布
この分布に基づいて、qの平均や信頼区間を求めることができる。

p(q) = \frac{L(q)}{\sum_{q}{L(q)}

ベイズの公式


p(q|Y) = \frac{p(Y|q) p(q)}{p(Y)
p(q|Y)事後分布
データYのとき、パラメータqが得られる確率。
p(q)事前分布
パラメータqが得られる確率。
p(Y|q)パラメータqを決めたときに、データYが得られる確率
尤度に比例する。
p(Y)データYが得られる確率。

事後分布∝(尤度×事前分布)/データが得られる確率
事後分布∝ 尤度×事前分布
ベイズ統計での事後分布MCMCによって得られる結果。
ベイズ統計での事前分布データによって事前分布が異なる。
複数種類の事前分布を混ぜて使用する。

事前分布
  • 主観的事前分布
  • 無情報事前分布
  • 階層事前分布

パラメータ
大局的なパラメータglobal parameter全データに影響する。
局所的なパラメータlocal parameter特定個体に影響する。

個体差を考慮するモデリング
パラメータの種類説明範囲事前分布
全体に共通する平均、ばらつき大局的無情報事前分布事前情報がないので、無情報事前分布外に選択の余地がない。
個体、グループごとのずれ局所的階層事前分布個体ごとに事前分布が異なるので、階層事前分布を選ぶ。
タグ

管理人/副管理人のみ編集できます