-
Mathematical Foundations of Machine Learning - Calculus 1Data Science 2023. 1. 1. 23:30
- Calculus 1은 크게 세가지 목차로 이루어진다.
1. Limits(극한)
2. Computing Derivatives with Differentiation(미분 계산)
3. Automatic Differentiation(자동 미분)
- Limit의 사용 예
lim𝑥→1 (𝑥^2−1)/(𝑥−1)
다음과 같은 극한식에서, x = 1이 될 수 없다. (분모가 0이 되므로)
하지만 극한값을 이용해 x = 1이 가깝게 하여 y값을 구할 수는 있다.
- Delta method
미분값을 계산할 때, Delta method를 이용한다
- 미분값을 계산하는 데에는 몇가지 룰이 있다.
1. Power rule
2. Constant Multiple Rule
3. Sum rule
4. Product rule
5. Chain rule
6. Quotient rule
- What is automatic differentiation?
AKA: Autodiff, AUtograd, Computational diff, Reverse mode diff, Algorithmic diff
1. Chain rule 을 산술 연산에 적용하는 것
2. 보통 Chain rule이 nested function에서 시작하는 것에 반해, autodiff는 반대로 바깥쪽 함수부터 풀어나간다
3. 계산이 편하다(Computationally cheap)
'Data Science' 카테고리의 다른 글
Hierarchical clustering vs K-means (0) 2023.02.05 머신러닝 기초 - 편미분(Partial Derivative) 이란? (0) 2023.01.24 비트코인 시장에서의 IBS 전략 검증 - 역추세추종 먹히나? (0) 2022.12.25 Mathematical Foundations of Machine Learning - linear algebra (0) 2022.12.24 How does AI calculate the percentage in binary language system? (0) 2022.11.13