日々の事柄に関する雑記帳。


用語

classification score分類スコア
consumer behavior analysis消費者行動分析
consumer buying pattern消費者購買動向
contribution寄与度
寄与率
corpus linguistic analysisコーパス言語学分析
correlation coefficient相関係数
degenerateness退化
dendrogram系統樹
dimensionality reduction次元削減
dummy variableダミー変数
factor correlation因子相関
factor contribution因子寄与
factor loading因子荷重
負荷量
factor pattern因子パターン
factor score因子得点
factor structure因子構造
factorization因数分解
Lagrange multiplier methodラグランジュ乗数法
ラグランジュの未定乗数法
linear algebra線形代数
matrix algebra代数行列
MCMC
Monte Carlo MArkov Chain
マルコフ連鎖モンテカルロ
medical diagnostic医療診断
multiple linear regression多重線形回帰
multiple linear regression analysis重回帰分析
multivariate analysis多変量解析
potential factor潜在因子
quadratic form二次形式
regression equation回帰方程式
supervised learning教師あり学習分類
回帰
unsupervised learning教師なし学習次元判別
主成分分析
クラスター分析
principle coordinate主成分座標
standard coordinate標準座標

代数行列

adjacent隣り合った
隣接する
diagonal斜めの
傾いた
column vector列ベクトル
row vector行ベクトル
cross product外積
inner product内積
commutative law of addition加法の交換法則
commutative law of multiplication乗法の交換法則
distributive law分配法則
linear transformation一次変換
rank of matrix行列の階数
singularity特異点
SSCPSum of Squares and Cross Product
外積の平方和

行列の種類

diagonal matrix対角行列
identity matrix単位行列
恒等行列
Eと表現する。
inverse matrix逆行列
null matrix零行列
orthogonal matrix直交行列ある行列と、その転置行列の積が単位行列となるもの。
symmetric matrix対称行列
transposed matrix転置行列元の行列の行と列を入れ替えたもの。
triangular matrix三角行列

行列式

determinant行列式
|A|
det
正方行列Aの行列式=0Aは逆行列を持たない。
一次独立
正方行列Aの行列式≠0Aは逆行列を持つ。
Aは正則行列
3x3行列の行列式セラスの方法

一次独立、一次従属

linear dependent線形従属
一次従属
linear independent線形独立
一次独立

ベクトルa, b, cについて、
一次結合a = p1b + p2c
あるベクトルを、他のベクトルの組み合わせで表すことができる。
aはb、cの一次結合。
一次独立p1 = p2 = p3 = 0の場合のみ、p1a + p2b + p3c = 0が成り立つ。
a, b, cは一次独立。
一次従属p1 = p2 = p3 = 0以外の場合、p1a + p2b + p3c = 0が成り立つ。
a, b, cは一次従属。

線形代数における1次独立と1次従属についてわかりやすく解説する

行列の階数

階数:行列に含まれる、一次独立なベクトルの最大個数。
行列中の一次独立なベクトルの数を求める。→階数を求める。


  • 基本変形
行列Aに対して、変形した単位行列E'をかける。
行の場合E'A
列の場合AE'
基本変形単位行列の操作連立方程式での説明
Aのi行目と、j行目を交換する。E'はEのi行目と、j行目を交換したもの。2つの方程式(行)を入れ替える。
Aのi行目をc倍する。E'はEのi行目をc倍したもの。ある方程式をc倍する。
Aのc倍したj行目を、i行目に加える。E'はi行、j列のの値にcを加算したもの。ある方程式(行)をc倍し、別の方程式(別の行)と足し算する。

基本変形を繰り返すことで、Aは三角行列になる。
階数=0以外の値を含む行(列)の合計数。


行列の基本変形とrank,行列式の求め方
行列のランクの意味(8通りの同値な定義)
行列のランクとはなんなのかをわかりやすく解説してみる

固有値、固有ベクトル、行列の累乗

eigenvalue固有値
eigenvector固有ベクトル
k固有値
p固有ベクトル


A=\begin{vmatrix}
a & b \\
c & d
\end{vmatrix} \\

\vspace{\baselineskip} \\
\begin{align}
A\vec{p}&=k\vec{p} \\
(A-kE)\vec{p}&=0
\end{align} \\

\vspace{\baselineskip} \\
k^2-(a+d)k+(ad-bc)=0
K1
K2
行列Aの固有値
(x1, y1)固有値k1の固有ベクトル
(x2, y2)固有値k2の固有ベクトル

P=\begin{vmatrix}
x_1 & x_2 \\
y_1 & y_2
\end{vmatrix} \\

\vspace{\baselineskip} \\
P^{-1}AP=
\begin{vmatrix}
k_1 & 0 \\
0 & k_2
\end{vmatrix} \\

\vspace{\baselineskip} \\
(P^{-1}AP)^{n}=
\begin{vmatrix}
k_1^n & 0 \\
0 & k_2^n
\end{vmatrix} \\

\vspace{\baselineskip} \\
(P^{-1}AP)^n=P^{-1}A^{n}P \\
A^n=P
\begin{vmatrix}
k_1^n & 0 \\
0 & k_2^n
\end{vmatrix}P^{-1}


特異値分解

SVD
Singular Value Decomposition
特異値分解
正方行列固有値分解固有値
固有ベクトル
その他の行列特異値分解特異値
特異ベクトル
固有値分解
Am x m
Vm x m
Λm x m
特異値分解
Am x n
Um x m直交行列
Σm x n対角行列
Vn x n直交行列
行列Aは、直交行列U、V、対角行列&Sigmaに分解できる。


A=V\Lambda V^{-1} \\
\vspace{\baselineskip} \\

\begin{align}
A&=U\Sigma V^{-1} \\
A&=U\Sigma V^{T}
\end{align} \\
\vspace{\baselineskip} \\

V^{-1}=V^{T}
u行列Aの特異ベクトル
単位ベクトル
σAの特異値
v行列Aの特異ベクトル
単位ベクトル
固有値分解と同じ構造。
σ1 >= σ2 >= ... >= 0

A=U\Sigma V^{T} \\
A=(\vec{u_1}, \vec{u_2}, \cdots)

\begin{bmatrix}
\sigma_1 &   & \cdots \\
  & \sigma_2 & \cdots \\
\vdots & \vdots & \ddots \\
\end{bmatrix}

(\vec{v_1}, \vec{v_2}, \cdots)^{T}

\vspace{\baselineskip} \\

A=V\Lambda V^{T} \\
A=(\vec{u_1}, \vec{u_2}, \cdots)

\begin{bmatrix}
\lambda_1 &   & \cdots \\
  & \lambda_2 & \cdots \\
\vdots & \vdots & \ddots \\
\end{bmatrix}

(\vec{v_1}, \vec{v_2}, \cdots)^{-1}
特異値の求め方
AA^T、(A^T)Aの構造が、固有値の求め方と同じであることに注目。
AA^T、(A^T)Aを固有値分解することで、行列U、Σ、Vを求めることができる。


\begin{align}
A&=U\Sigma V^{T} \\
A^{T}&=V\Sigma^{T}U^{T} \\
V^{T}&=V^{-1} \\
\vspace{\baselineskip} \\

AA^{T}&=U\Sigma V^{T}V\Sigma^{T}U^{T} \\
&=U\Sigma V^{-1}V\Sigma^{T}U^{T} \\
&=U\Sigma \Sigma^{T}U^{T}
\vspace{\baselineskip} \\

A^{T}A&=V\Sigma^{T}U^{T}U\Sigma V^{T} \\
&=V\Sigma^{T}U^{-1}U\Sigma V^{T} \\
&=V\Sigma^{T} \Sigma V^{T} \\
\end{align}

多変量解析

目的変数説明変数ポイント適用
質的データ量的データ質的データ量的データ
cluster analysisクラスター分析xx系統樹観測値を未知のグループへ分類する。顧客分類
ブランド・ポジショニング
correspondence analysis対応分析
コレスポンデンス分析
x分布
主成分座標
標準座標
説明変数間の関係を示す。ブランド・イメージ調査
消費者行動分析
コーパス言語学分析
discriminant analysis判別分析xxx因子相関
分類スコア
観測値を分類する。医療診断
消費者購買動向
画像認識
factor analysis因子分析
要因分析
x因子パターン
因子得点
因子構造
因子パターンを用いて変数間の相関関係を理解するとともに、潜在因子を見つける。教育心理学
logistic regressionダミー変数を用いる回帰分析
ロジスティック回帰
xxxx回帰方程式目的変数を予測する。
MCA
Multiple Correspondence Analysis
多重コレスポンデンス分析x分布
主成分座標
標準座標
PCA
principle component analysis
主成分分析x因子荷重
因子得点
寄与度
観測値から主成分を見つけ、観測値の相関関係を示す。ブランド・イメージ調査
製品評価
R&D
画像処理
correlation matrix相関行列
covariance matrix共分散行列
variance-covariance matrix分散共分散行列

復習

分散と偏差


S^2=\sum \frac{(x-\bar{x})^2}{n-1}

共分散


S_{xy}=\frac{1}{n-1}\sum{(x_i-\bar{x})(y_i-\bar{y})

相関係数


r_{xy}=\frac{S_{xy}}{S_x S_y}

分散共分散行列


\begin{bmatrix}
S_x^2 & S_{xy} & S_{xz} \\
S_{xy} & S_y^2 & S_{yz} \\
S_{xz} & S_{yz} & S_z^2
\end{bmatrix}

相関行列


\begin{bmatrix}
1 & r_{xy} & r_{xz} \\
r_{xy} & 1 & r_{yz} \\
r_{xz} & r_{yz} & 1
\end{bmatrix}

平方和

グループ数c
グループ内のデータ数n
観測値x
偏差群間偏差群内偏差
観測値−全平均=(群内平均−全平均)+(観測値−群内平均)
全平均Mt
群内平均Mw
群間平均Mb
平方和、平方平均

SS_t=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_t)^2 \\
\frac{1}{n-1}SS_t
群内平方和

SS_w=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_w)^2 \\
\frac{1}{n-c}SS_w
群間平方和

SS_b=\sum_{c=1}^{c}\sum_{i=1}^{n}(M_w-M_t)^2 \\
\frac{1}{c-1}SS_b

R

%*%行列の積
*を用いると、行列の要素ごとの積になる。
colSums
rowSums
行列の行、列ごとの合計。
colMeans
rowMeans
行列の行、列ごとの平均。
t転置行列
crossprod
tcrossprod
クロス積
solve逆行列
det行列式、決定係数
diag行列の対角成分
cor分散共分散行列、相関係数
cov共分散

クロス積

演算子を用いるよりも、crossprodの方が若干高速であると言われている。
crossprod(X)t(X) %*% X行列X自身のクロス積
crossprod(X, Y)t(X) %*% Y行列X、Yのクロス積
tcrossprod(X)X %*% t(X)
tcrossprod(X, Y)X %*% t(Y)
> X = matrix(c(1:3), 3, 3)
> Y = matrix(c(1:9), 3, 3)
> X
     [,1] [,2] [,3]
[1,]    1    1    1
[2,]    2    2    2
[3,]    3    3    3
> Y
     [,1] [,2] [,3]
[1,]    1    4    7
[2,]    2    5    8
[3,]    3    6    9
> t(X) %*% X
     [,1] [,2] [,3]
[1,]   14   14   14
[2,]   14   14   14
[3,]   14   14   14
> crossprod(X)
     [,1] [,2] [,3]
[1,]   14   14   14
[2,]   14   14   14
[3,]   14   14   14
> 
> t(X) %*% Y
     [,1] [,2] [,3]
[1,]   14   32   50
[2,]   14   32   50
[3,]   14   32   50
> crossprod(X, Y)
     [,1] [,2] [,3]
[1,]   14   32   50
[2,]   14   32   50
[3,]   14   32   50
> 
> X %*% t(X)
     [,1] [,2] [,3]
[1,]    3    6    9
[2,]    6   12   18
[3,]    9   18   27
> tcrossprod(X)
     [,1] [,2] [,3]
[1,]    3    6    9
[2,]    6   12   18
[3,]    9   18   27
> 
> X %*% t(Y)
     [,1] [,2] [,3]
[1,]   12   15   18
[2,]   24   30   36
[3,]   36   45   54
> tcrossprod(X, Y)
     [,1] [,2] [,3]
[1,]   12   15   18
[2,]   24   30   36
[3,]   36   45   54

固有値分解

各固有値の下に、それぞれの固有値ベクトルが、縦一列に並ぶ。
eigen$values固有値
$vectors固有ベクトル
> mymatrix = matrix(c(1:9), 3, 3)
> eigen(mymatrix)
eigen() decomposition
$values
[1]  1.611684e+01 -1.116844e+00 -5.700691e-16

$vectors
           [,1]       [,2]       [,3]
[1,] -0.4645473 -0.8829060  0.4082483
[2,] -0.5707955 -0.2395204 -0.8164966
[3,] -0.6770438  0.4038651  0.4082483

特異値分解

各固有値の下に、それぞれの特異値ベクトルが、縦一列に並ぶ。
svd$d特異値
$u左特異ベクトル
$v右特異ベクトル
> mymatrix = matrix(c(1:12), 3, 4)
> mymatrix
     [,1] [,2] [,3] [,4]
[1,]    1    4    7   10
[2,]    2    5    8   11
[3,]    3    6    9   12
> svd(mymatrix)
$d
[1] 2.546241e+01 1.290662e+00 1.716561e-15

$u
           [,1]        [,2]       [,3]
[1,] -0.5045331 -0.76077568  0.4082483
[2,] -0.5745157 -0.05714052 -0.8164966
[3,] -0.6444983  0.64649464  0.4082483

$v
           [,1]        [,2]       [,3]
[1,] -0.1408767  0.82471435 -0.4991558
[2,] -0.3439463  0.42626394  0.4974744
[3,] -0.5470159  0.02781353  0.5025186
[4,] -0.7500855 -0.37063688 -0.5008372
タグ

管理人/副管理人のみ編集できます