日々の事柄に関する雑記帳。


用語

Bayesian statisticsベイズ統計
Bayes' theoremベイズの定理
binomial distribution二項分布
central limit theorem中心極限定理
collateral evidence付帯証拠、傍証
conditional probability条件付確率
cumulative distribution累積分布
educated guess知識に裏付けられた推測、根拠のある推測
equally likely同程度に
equation均一化
等式
finite有限
frequency度数、頻度
frequency distribution度数分布
game of chance運が左右するゲーム
例:トランプ、ルーレット、サイコロ
infer推論する、察する
inference推論
intuition直感、直感で得られた洞察、直観
likelihood function尤度関数
measure測度
postulate仮定
公理
presumably推定上
proportion割合、比率
quantify定量化する
SEMStandard Error of the Mean
標準誤差
standard score標準得点
standardized value標準測度、標準化変量
subjective probability主観的確率
Z score標準測度、標準化変量
平均が0、標準偏差(SD)が1になるように変換した得点。
conditional条件付依存関係がある
dependent
unconditional無条件互いに独立
independent

歪度

尤度もっともらしさを表す度合い
歪度関数証拠が命題Aを裏付ける度合いを定量化する。
尤度は観測データはすべて出尽くしていて、それらのデータに対して,あるパラメータの確率分布を当てはめた時、どれだけ尤もらしいかを意味しているのです。
event probability事象の発生確率
likelihood for a hypothesis仮説の尤度
確率も尤度も数式や数値は同じである。しかし、確率と尤度は意味するところが異なり、それに係わる法則も違う。確率が「事象の確率」であるのに尤度は
「観察データの下での仮説の尤度(likelihood for a hypothesis given a set of observations)」
である点に注意する。
尤度とは何者なのか?

集合

A ⊆ Bsubset部分集合AはBに含まれる。
A ⊂ Bproper subset真部分集合AはBに含まれる。
A≠B
A ∩ Cintersection共通部分
積集合
A、Bの両方に属す。
A ∪ Bunion和集合A、Bの一方に属す。
Set Symbols

ベイズ統計

条件付確率

p(A|B)probability of A given B
probability of A under the condition B
Bの場合に、Aが発生する確率
条件BのもとでのAの確率
Bを条件とするAの条件付確率
Bが起こったときのAの条件付確率
Aが起こると仮定したとき、Bが起こる確率。
供ゾ魴錣鮟颪方法 A={x|1≦x≦10, x は奇数}
これは,A という集合は、
x という要素から成り立っている
その x は,1≦x≦10 で、しかも、奇数である。
ということを意味します。つまり、「 | 」は、英文法でいう関係代名詞のような役割を果たしています。
§3 個数の処理

ベイズの定理

p(A|B) = p(A) p(B|A) / p(B)
右辺の解釈
p(A)Aが発生する確率
p(B|A)Aの場合に、Bが発生する確率
p(A) p(B|A)p(A ∩ B)
A and Bの確率
p(A ∩ B) / p(B)Bの場合を前提に、Aが発生する確率
  • 事前確率p(A)が、事後確率p(A|B)に更新された、と考える。
  • これは条件確率の定義に含まれていない。
  • p(B)が起こったという前提で、事象p(A)を更新する。
p(A)事前分布以前の知識
以前の情報
p(A|B)事後分布新しい知識
新しい情報
知識の更新が行われた。
情報の更新が行われた。

事前確率p(A)は分からない。→主観的に決める。
不十分理由の原理principle of insufficient reasonすべての事象の発生確率は等しくなると考える。
何も情報がないのだから、そう考えるしかない。
A命題結婚した人は離婚する。
p(A)事前確率離婚する確率。
主観的に決まる。
B証拠
考慮されるべき情報
結婚していること。
p(B)結婚する確率。
p(A|B)事後確率
証拠Bを考慮した後の命題Aの確率
結婚していた人が離婚する確率。
ABよりも先に起こった事象
BAよりも後に起こった事象
p(A|B)後に起こった事象Bから、先にAが起こっていた確率時間を逆行している。こんな結果Bが出た。なんで?
p(B|A)先に起こった事象Aから、後にBが起こる確率時間を順行している。こんな結果Aが出た。次を予想する。

p(A|B) = p(A) p(B|A) / p(B)
左辺時間逆行の確率
右辺時間順行の確率



ベイズ推論による機械学習の基本

母集団と標本

population
母集団
平均μ
標準偏差σ
分散σ^2
sample
標本
平均
標準偏差S
分散S^2

標本平均の分布

標本平均の分布variance = population variance / sample size
標準誤差標本平均の標準偏差

標準誤差
  • 母集団からある数の標本を選ぶとき、選ぶ組み合わせに依って統計量がどの程度ばらつくかを、全ての組み合わせについての標準偏差で表したもの。

標本平均の分散=母集団の分散/標本の大きさ
  • 標準誤差=σ / sqrt(n)
  • 標準誤差=S / sqrt(n)

離散型確率分布と連続型確率分布

離散型とびとびの値を取る→隣り合う数字の間に、値が存在しない。サイコロの目
各目の間に値は存在しない。
確率質量probability mass
ある値の出る確率→確率の重さ
確率質量関数f(x) = p(X = x)
離散型確率分布の考え方ある一つのサイコロの目が出る確率
P(X = 3) = 1/6
連続型連続した値を取る→隣り合う数字の間に、無数の値が存在する。体重
50〜51キロの間の値は50.1、50.01、50.02、50.001...、50.002...、50.2...無数に存在する。
確率密度関数f(x) = f(X = x)
確率密度probability density
ある範囲の値が出る確率→確率の密度
連続型確率分布の考え方ある一つのサイコロの目が出る確率
P(X = 3) = 1/∞ = 0
ある一つの目は無数に存在する値の一つ(無限の中の一点)

P値(確率)

P値=確率密度関数での面積
確率変数xがa〜bである確率a〜b間の面積
確率変数xがa以下である確率aより左の面積
確率変数xがb以上である確率bより右の面積
0.3413
0.4772
0.4987
±1σ0.6826
±2σ0.9544
±3σ0.9974
±1σ - ±2σ0.2718
±1σ - ±2σ - ±3σ0.0430

分布

binomial distribution二項分布B(n, p)
normal probability distribution正規分布N(μ,σ^2)
standard normal distribution標準正規分布
Z分布
N(0, 1)

二項分布
事象Aの発生確率p
事象Aの発生しない確率q = 1 - p
n回の試行で、Aがr回発生する確率p(X = r) = nCr p^r q^n-r = nCr p^r (1 - p)^n-r
Xの分布=二項分布B(n, p)
中心極限定理任意の確率分布に従う母集団から抽出された標本の数が十分多い場合、標本平均の分布は正規分布に従う。
標準化平均0、標準偏差1になるように変換する。
Z値、Z得点平均0、標準偏差1になるように変換した値。

Z = (X - μ) / σ
タグ

管理人/副管理人のみ編集できます