Optimization은 Loss를 최소화 하는 과정이다. Loss가 최소가 되어야지만 좋은 prediction이 가능하다. 일반적으로 Gradient를 구하는 방법은 Numerical한 방법이다. 그러나 속도가 느리고 정확하지 않다. 따라서 해석적 방법인 Analytic 한 방법을 사용한다. 보통 gradient check를 할 때에는 Numerical gradient를 사용한다. x에 가중치(W)를 곱하여 score값을 function에 넣으면 loss를 얻는다. 그리고 그것을 regularization loss와 더해주는 것을 total loss라고 한다. 이런 과정을 Computational graph라고 한다. 예를 들어서 하나하나의 모듈 별로 계산을 해나가는 방식을 학습해보자. 간단한 함수인 ..