Supervised Learning, Unsupervised Learning, Loss function

지도학습 vs 비지도학습

지도 학습 : 입력과 함께 정답을 알려준다.

비지도 학습 : 정답이 없이 입력만 잔뜩 받는다. 그러면 컴퓨터가 이렇게 묶어서 주어지는 특성들을 이용해 유용한 정보를 추출해내는 학습법

---

사람의 지도학습

사람의 지도학습

 

사람의 지도학습

점점 공부를 하다보면 어떤 것이 나무인지 일반화할 수 있다.

---

데이터셋이 굉장히 중요하다.

데이터셋을 가지고 학습을 해주면 어떤 데이터가 나무인지 동전인지 개인지 알 수 있다.

---

학습 매개변수 (Trainable Parameters)

초기에는 a=0, b=1 이다.

점점 학습이 되면서 점점 더 점들을 잘 표현할 수 있는 직선을 가지게 된다.

학습 매개변수가 변화하면 출력이 변하게 된다. 

---

손실 함수 (Loss Function)

손실함수 : 알고리즘이 얼마나 잘못하고 있는지 표현해주는 지표

 

MSE의 경우에는 학습 데이터의 정답과 학습 데이터의 출력으로 비교하게 된다.

CEE의 경우에는 Classification에서 손실함수로 사용한다.

 

정답과 가까워질수록 0이되고 정답과 멀어질수록 1이 된다.

---

학습 환경의 정의

학습에 필요한 가장 중요한 세가지 요소는 데이터와 모델과 손실이다.

 

Training data에서는 Loss function과 Model에 들어갈 수 있는 Ground truth, Label이 있어야 한다.

Model에는 입력에서 출력으로 바꾸어줄 수 있는 Trainable parameter가 존재해야 한다.

 

Training data를 입력으로 넣어서 Trainable parameter에 의해 결정된 출력 값을 Loss function을 이용해서 정답과 비교를 해준다.

---

알고리즘 학습을 달리 말하면...

학습 대상, 변경 가능한 값을 입력으로 하는 Trainable parameter를 입력으로 하게 되고,

Loss function으로 나오는 에러 값을 출력으로 하게 된다.

---

최적화 이론과 알고리즘 학습

모델을 학습을 한다는 것은 최적화이론과 완전히 동일한 것이 된다.

 

어떤 입력에 대해서 출력이 있는 함수가 있을 때, "y값을 가장 작게 해주는 x를 찾는다"라는 것이 최적화 이론의 가장 핵심적인 부분이다.