미분과 기울기
2D, 3D로도 표현이 가능하다.
편미분을 이용해야 x에 대해서, x1에 대해서, xN-1에 대해서 편미분 할 수 있다.
경사하강법
양수일 때 반대로 이동하기 위해서 (-)를 곱해준다.
최종적으로 최소값을 따라가게 된다.
f(x)값이 변하지 않을 때까지 반복한다.
학습률의 선택
'💡 AI > DL' 카테고리의 다른 글
| Deep Neural Network - Back Propagation (0) | 2021.02.01 |
|---|---|
| 심화 경사하강법 (0) | 2021.01.31 |
| 최적화 이론의 수학적 표현 (0) | 2021.01.28 |
| Gradient Descent 란? (0) | 2021.01.28 |
| Supervised Learning, Unsupervised Learning, Loss function (0) | 2021.01.28 |