日々の事柄に関する雑記帳。



ロジスティック回帰は、分類問題。
回帰数値予測
分類クラスタリング

決定境界のパラメータ

f(x)境界線
x入力
ここでは1次元と仮定
y出力
ここでは0、1とす。→2値分類
θパラメータ

f(x) = θx
新たなデータxnに対して、
θxn >= 0y = 1
θxn < 0y = 0

シグモイド関数


θ^T = 0を境に分類する。
2値分類の場合の境界シグモイド関数
3値以上分類する場合の境界ソフトマックス関数

f(x) = 1 / {1 + exp(-θ^T x)
0 < f(x) < 1

尤度関数

分類の同時確率で表す。

\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
y^i = 0\\
p(y^i = 1 | x)^{y^i}=1\\
y^i = 1\\
p(y^i = 0 | x)^{1-y^i}=1

目的関数、最適化問題

最適化問題→θを決める
log L(θ)が最大となるθを求める。
L(θ)目的関数

L(\theta)=\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
\log{L(\theta)}=\sum_{i=1}^{n}{y^i}{\log{p(y^i = 1 | x)}}+(1-y^i)\log{p(y^i = 0 | x)}
タグ

管理人/副管理人のみ編集できます