Mathematical Foundations of Machine Learning - Calculus 1

• Calculus 1은 크게 세가지 목차로 이루어진다.

1. Limits(극한)

2. Computing Derivatives with Differentiation(미분 계산)

3. Automatic Differentiation(자동 미분)

• Limit의 사용 예

lim𝑥→1 (𝑥^2−1)/(𝑥−1)

다음과 같은 극한식에서, x = 1이 될 수 없다. (분모가 0이 되므로)

Matplotlib 으로 그린 위 식

하지만 극한값을 이용해 x = 1이 가깝게 하여 y값을 구할 수는 있다.

• Delta method

미분값을 계산할 때, Delta method를 이용한다

• 미분값을 계산하는 데에는 몇가지 룰이 있다.

1. Power rule

미분 계산에 가장 기본적인 power rule

2. Constant Multiple Rule

3. Sum rule

4. Product rule

5. Chain rule

6. Quotient rule

• What is automatic differentiation?

AKA: Autodiff, AUtograd, Computational diff, Reverse mode diff, Algorithmic diff

1. Chain rule 을 산술 연산에 적용하는 것

2. 보통 Chain rule이 nested function에서 시작하는 것에 반해, autodiff는 반대로 바깥쪽 함수부터 풀어나간다

3. 계산이 편하다(Computationally cheap)

Automatic differentiation 과정