裏紙ノート

f(x)	境界線
x	入力 ここでは1次元と仮定
y	出力 ここでは0、1とす。→2値分類
θ	パラメータ

f(x) = θx
新たなデータxnに対して、

θxn >= 0	y = 1
θxn < 0	y = 0

θ^T = 0を境に分類する。

2値分類の場合の境界	シグモイド関数
3値以上分類する場合の境界	ソフトマックス関数

f(x) = 1 / {1 + exp(-θ^T x)
0 < f(x) < 1

分類の同時確率で表す。

\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
y^i = 0\\
p(y^i = 1 | x)^{y^i}=1\\
y^i = 1\\
p(y^i = 0 | x)^{1-y^i}=1

最適化問題→θを決める
log L(θ)が最大となるθを求める。

L(θ)

目的関数

L(\theta)=\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
\log{L(\theta)}=\sum_{i=1}^{n}{y^i}{\log{p(y^i = 1 | x)}}+(1-y^i)\log{p(y^i = 0 | x)}