Mathematical Foundations of Machine Learning - linear algebra

• What Linear Algebra is? "Solving for unknowns within system of linear equations"

쉽게 말하면, 두개의 방정식을 가지고 해를 구하는 것

접점이 없을 경우 no solution, 방정식이 같을 경우에는 infinite solution이 나온다

• Eigenvectors and Eigenvalues

2차원에서의 Eigenvalues, Eigenvectors

좀더 직관적인 설명은 아래와 같다

• Eigenvectors 는 다음과 같은 데이터셋과 결합될 수 있다

 1. Eigenfaces

2. Eigenvoices

3. Eigenfrequencies (of vibrations)

4. Quantum mechanic 분야. Molecular orbitals 나 Schrodinger wave equation

5. Reproduction number R0 in eqidemiology

• Singular Value decomposition

1. 주로 사진 등의 여러 행과 열이 있는 경우에 계산을 쉽게하기 위해서 쓰인다

2. 예를 들어, (4032, 3024) 인 이미지의 사이즈는 12192768이 되지만

4032*3024 = 12192768

3. SVD를 사용시 451648. 3%정도로 줄일 수 있다.

64*4032 + 64 + 64*3024 = 451648. (64는 singular vector 값임)

 

 

• Moore-Penrose Pseudoinverse

1. 정방행렬은 실제 데이터셋에서 찾기 힘듬. 때문에 행과 열의 개수가 일치하지 않는 경우, Pseudoinverse를 사용해 model weight을 예상할 수 있음

w = Xy

 

 

Pseudoinverse 적용 전

Pseudoinverse 적용 후

• Principal component analysis

1. Unsupervised machine learning algorithm에 쓰임

2. Eigendecomposition / SVD 와 같이, compression을 가능하게 한다(4차원 데이터를 2차원으로 변환하는 등의)