회귀 문제의 이해

회귀 (Regression)

 

---

단순 선형 회귀 (Linear Regression)

가장 작은 MSE를 찾는 것이 목적이다. 

---

평균 제곱 오차 (Mean Squared Error)

길이와 체중을 추정하는 알고리즘이 있다.

 

y 정답에 대해서 어떤 알고리즘으로 ~y의 추정을 했을 때 5.8의 오차가 있다.

이것을 더 좋은 알고리즘을 통해 ~y의 추정으로 1.2의 오차를 표현할 수 있다.

이 추정은 MSE를 이용한다.

---

다중 선형 회귀

입력이 여러개가 된다면 변수가 여러개가 되고 각각의 가중치를 곱해주게 된다.

---

다중 선형 회귀의 기하학적 해석

---

얕은 신경망과 회귀 알고리즘

Hidden Layer : 출력이 여러개일 때는 매트릭스 형태로 연산하게 된다. M x N

Output Layer : 출력이 하나일 때는 매트릭스 형태가 아닌 벡터 형태로 연산하게 된다. (M x N) x (N x 1)

 

얕은 신경망으로 회귀를 수행할 경우 출력 계층은 선형 회귀와 똑같다.

다만 입력계층에서 은닉계층으로의 추가적인 변환이 앞에 붙게 된다는 점이 선형회귀와 다른 점이다.

 

이것은 무엇을 의미할까?

---

은닉 계층과 회귀

입력 계층의 관점에서 봤을 때 선형 회귀가 잘 되지 않는 분포를 보게 된다.

은닉 계층으로 넘어오면서 선형에 가깝게 바뀔 수 있다면 선형회귀가 잘 먹힌다.

은닉 계층을 이용하게 된다면 선형적으로 분포하는 회귀 곡선을 다시 입력 계층의 관점에서 다시 보게 되면 곡선으로 잘 표현되는 것을 볼 수 있다.