Statistics/Math - interview
2022. 3. 23. 10:46
✏️ Mathemathics/Statistics and Probability
목차 고유값(eigen value)와 고유벡터(eigen vector)에 대해 설명해주세요. 그리고 왜 중요할까요? 샘플링(Sampling)과 리샘플링(Resampling)에 대해 설명해주세요. 리샘플링은 무슨 장점이 있을까요? 1. 고유값(eigen value)와 고유벡터(eigen vector)에 대해 설명해주세요. 그리고 왜 중요할까요? 정방행렬 A (n x n) 는 임의의 벡터 x (n x 1) 의 방향과 크기를 변화시킬 수 있다. 수많은 벡터 x 중 어떤 벡터들은 A 행렬에 의해 선형 변환되었을 때에도 원래 벡터와 평행한 경우가 있다. 이렇듯 Ax 가 원래 x 에 상수(람다)를 곱한 것과 같을 때의 x 를 고유 벡터, 람다를 고유값이라 한다. 아래처럼 x1 은 A에 의해 변환되었음에도 x1 과 ..
선형대수 - 4개 주요 부분 공간 간의 관계
2021. 8. 17. 22:12
✏️ Mathemathics/Linear Algebra
선형대수 용어 정리 고유벡터(eigen vector) : 선형변환했을 때 방향은 변하지 않고 크기만 변하는 벡터 고유값(eigen value) : 고유벡터가 변환되는 크기 행렬식(deteminant) : ad-bc, 부피 determinant = 0 : 행렬을 구성하는 벡터가 서로 동일선상(colinear)에 있다는 것 기저(basis) : 벡터 공간을 생성하는 선형독립인 벡터들 벡터공간(Vector space) : basis로 생성 가능한 공간 부분공간(Subspace) : 전체 공간의 일부분 Span : 기저 벡터들로 구성되는 2차원 부분 공간 랭크(Rank) : 행렬의 열벡터에 의해 span된 벡터공간의 차원 정규 직교 기저 : 벡터의 크기가 1이고 서로 수직인 기저 벡터, A-1 = AT, AAT..
선형대수 - Eigen vector(고유 벡터), Eigen value(고유 값)의 기하학적 의미
2021. 8. 17. 21:37
✏️ Mathemathics/Linear Algebra
행렬에 벡터를 넣어주면 다른 벡터가 나온다. 행렬은 선형변환이다 = 행렬은 일종의 함수처럼 작동한다. 선형 변환이 되어서 (3,3)의 결과가 나온다. 어떤 벡터들은 선형 변환 시 크기만 바뀌고 방향이 바뀌지 않을 수 있다. Eigen value, Eigen vector 고유 벡터 : 벡터 x에 행렬을 곱해줬을 때(선형변환 시켜줬을 때), 크기만 변하고 원래 벡터와 평행한 벡터 Eigen vector(고유 벡터) : 입력 벡터 x를 A로 선형변환 시킨 결과 Ax가 그저 x가 상수배 된 벡터 여기서 x 가 Eigen vector(고유 벡터), 변한 크기인 람다가 Eigen Value(고유값)이 된다. (A-람다 I) 가 역행렬을 가지게 되면, (A-람다 I)x = 0 에 역행렬을 곱해주면 x = 0 이 되므..
선형대수 - 행렬식과 역행렬의 기하학적 의미
2021. 7. 20. 19:59
✏️ Mathemathics/Linear Algebra
행렬이 가지는 의미는 벡터에 대해서 어떤 다른 벡터를 출력시켜주는 함수로 작용한다. 이것을 선형 변환이라고 부르자고 했다. 선형변환을 통해 완전히 다른 세계가 된다!! 또한 행렬은 벡터 공간 자체를 변형시켜주는 선형 연산자이다. 행렬식이 의미하는 것 행렬식 평행사변형 넓이 자체가 ad-bc 가 된다. 행렬식의 성질 역행렬 역행렬은 원래 행렬에 대한 역 선형 변환이다. Ref : https://angeloyeo.github.io/2019/08/06/determinant.html
선형대수 - 행렬과 선형변환
2021. 7. 19. 18:19
✏️ Mathemathics/Linear Algebra
행렬의 곱이라는 것은 두 열벡터의 선형 결합으로 볼 수 있지 않을까? 의 관점으로 볼 수 있다. 행렬 자체가 열벡터에 대한 함수로 작동할 수 있다. 함수인데 특정한 규칙이 정해진 함수라고 생각할 수 있다. 임의의 벡터 →a, →b와 스칼라 c 에 대하여 변환 T 가 다음의 두 조건을 만족한다면 이 변환 T 는 선형변환이다. 따라서, 위의 선형 변환의 성질에 따라, 임의의 벡터 (x, y)에 대해서 다음이 성립한다. x와 y는 분리가 된다. 원래의 기저 벡터 두 개를 아래와 같이 ^i, ^j 라 하고, 새로운 기저 벡터를 ^inew, ^jnew 라 했을 때, T 가 선형변환이라면, 벡터 [x y] 는 선형 변환 후에 새로운 기저 벡터 ^inew 와 ^jnew 의 x 배와 y 배의 합으로 표현되어야 한다는 ..
선형대수 - 행벡터의 의미와 벡터의 내적
2021. 7. 16. 17:56
✏️ Mathemathics/Linear Algebra
지금까지 우리는 벡터란 무엇인지에 대해 알아보고, 행렬과 벡터의 곱에 대해 알아보았다. 짧게 요약하자면 벡터란 상수배(곱셈 규칙)와 덧셈 규칙이 정의되는 원소들이라고 하였으며, 이들의 집합에 이 연산들이 정의된 집합을 벡터 공간(vector space)라고 한다고 하였다. 여기서 이러한 상수배와 덧셈 규칙이 정의되는 원소들을 ‘선형성을 갖는다’라고 표현한다. 또, 행렬은 벡터를 또 다른 벡터로 변환 시키는 일종의 연산자로 볼 수 있으며, 특히 행렬과 벡터의 곱은 행렬의 열벡터들을 얼마나 선형결합 시킬 것인가라는 의미로 볼 수 있다고 하였다. 이번 시간에는 행벡터의 기능과 역할에 대해 알아보고, 이를 통해 벡터의 내적이 왜 기하학적으로 한 벡터에서 다른 벡터로의 정사영과 관련이 되어 있는지를 알아보고자 한..
선형대수 - 행렬 곱에 대한 또 다른 시각
2021. 6. 23. 11:38
✏️ Mathemathics/Linear Algebra
일반적으로 이용하는 행렬곱의 방법 행렬의 곱은 일반적으로 다음과 같이 생각한다. 수식을 이용해 조금 더 정확하게 쓰면 다음과 같다. 이것을 잘 뜯어 생각해보면, 왼쪽에 있는 행렬에서 행 하나를 가져오고 오른쪽에 있는 행렬에서 열 하나를 가져와서 계산하게 된다는 것을 알 수 있다. 또, 가져온 행 혹은 열을 벡터로 생각한다면 계산된 행렬의 각 원소값은 벡터의 내적을 표현한 것임을 알 수 있다. 즉, 식(2)의 계산 결과에서 1행 1열의 원소값은 계산 되기 전 두 행렬 중 왼쪽 행렬의 1행의 행벡터와 오른쪽 행렬의 1열의 열벡터를 가져와 계산한 것임을 알 수 있다. 즉, 일반적으로 이용하는 행렬곱의 관점은 행벡터와 열벡터 간의 내적(inner product)을 계산함으로써 행렬곱이 이루어진다는 것을 알 수 ..
선형대수 - 벡터의 정의, 기본 연산
2021. 6. 23. 10:43
✏️ Mathemathics/Linear Algebra
벡터란 무엇인가? 벡터의 기본 연산에 대해 이야기 하기 전에 벡터란 무엇인지부터 생각해보도록 하자. 1) 벡터란 화살표 같은 것 우선 바로 떠오르는 것은 벡터란 물리학에서 말하는 ‘크기와 방향으로 정의되는 값’이라고 할 수 있다. 이것은 기하학적인 벡터의 특성을 잘 반영하고 있는 정의라고 할 수 있으며, 특히 벡터의 좌표계의 변환에 대한 불변성(invariance)을 잘 표현하고 있다. 좌표계의 변환에 대해 불변적이라는 말은 아래 그림에서 처럼 좌표계가 변하더라도 벡터 그 자체는 가만히 있다는 것을 의미한다. 기하학적 특성을 반영 좌표계의 변환에 대해 불변함 이러한 벡터 정의에 대해 첨언하자면 이러한 ‘크기와 방향으로 정의되는 값’이라는 설명은 Euclidean 벡터에 한해서만 적용해 설명할 수 있다는게..
나이브 베이즈 분류기
2021. 5. 29. 16:23
✏️ Mathemathics/Statistics and Probability
나이브 베이즈 분류기는 각 클래스에 대한 가능도(Likelihood) 비교를 통한 분류이다. 또한 베이즈 정리의 철학을 기반으로 작동하는 분류기이다. 베이즈 정리 : 확률을 갱신해 나가는 정리 사전 지식을 이용한 분류 : prior 확률적인 배경 지식을 가지고 특별한 추가 정보 없이 어떤 샘플을 분류하는 예시를 생각해보자. 가령 아무 사람이나 데리고 와서 어떤 정보도 없이 이 사람이 남자인지 여자인지 분류하라고 하면 어떻게 생각할 수 있을까? 세상에 절반은 남자고, 절반은 여자라고 생각한다면 50% 확률로 어림짐작 할 수 밖에 없다. 아마 랜덤하게 두 성별 중 하나를 얘기할 수 밖에 없을 것이다. 이것이 사전적인 정보만으로 어림짐작을 하는 방법이다. 그런데, 가령 삼색이 고양이를 데리고 와서 고양이의 성..
베이즈 정리의 의미
2021. 5. 29. 15:38
✏️ Mathemathics/Statistics and Probability
기본적으로 활용되는 베이즈 정리에 대해 알아보자. 우선 베이즈 정리의 공식부터 확인해보도록 하자. 총 네 개의 확률값이 적혀져 있으며, 생김새도 거의 비슷비슷해 그냥 보기에는 의미를 파악하기가 어렵다. P(H) : 사전 확률 P(H|E) : 사후 확률 네 개의 확률 값 중 P(H)와 P(H|E)는 각각 사전 확률, 사후 확률이라고 부른다. 베이즈 정리는 근본적으로 사전확률과 사후확률 사이의 관계를 나타내는 정리이다. 그렇다면, 우리는 사전확률과 사후확률의 의미를 파악함으로써 베이즈 정리가 말하는 바와 그 의의를 이해할 수 있을 것이다. 베이즈 정리를 이해하기 어려웠던 이유 베이즈 정리를 이해함에 있어서 가장 먼저 정리해야 할 개념은 ‘확률’에 관한 관점이다. 베이즈 정리의 의미를 이해하기 어려운 이유 중..
최대우도법
2021. 5. 29. 13:45
✏️ Mathemathics/Statistics and Probability
최대우도법 최대우도법(Maximum Likelihood Estimation, 이하 MLE)은 모수적인 데이터 밀도 추정 방법이다. 다양한 파라미터 θ=(θ1,⋯,θm)으로 구성된 어떤 확률밀도함수 P(x|θ)에 대해서 관찰하고 표본 데이터 집합을 x=(x1,x2,⋯,xn)이라 할 때, 이 표본들에서 파라미터 θ=(θ1,⋯,θm)를 추정하는 방법이다. 당연히, 이 말만 보면 MLE가 뭔지 이해하기는 불가능하기 때문에 예시를 들어 MLE에 대해 알아보도록 하자. 위와 같이 5개의 데이터 {1, 4, 5, 6, 9} 를 얻었다고 하자. 이 데이터를 어떤 분포로 부터 얻었을까? 를 알고 싶다. 주황색 분포, 파란색 분포 중 어떤 데이터에서 얻었을까? 아마 주황색 분포가 좀더 가능성이 있을 것이다. 그럼 이것을 ..
사전 확률과 사후 확률
2021. 5. 29. 13:21
✏️ Mathemathics/Statistics and Probability
사전 확률 ( Prior Probability ) 현재 가지고 있는 정보를 기초로하여 정한 초기 확률 확률 시행 전에 이미 가지고 있는 지식을 통해 부여한 확률 ex) 동전을 던져 앞면이 나올 확률 : 1/2 사후 확률 ( Posteriori Probability) 사건 발생 후에 어떤 원인으로부터 일어난 것이라고 생각되어지는 확률 추가된 정보로부터 사전정보를 새롭게 수정한 확률 ( 수정 확률 ) 조건부 확률을 통해 사후 확률을 표현할 수 있음 사후확률은 베이즈 정리로 부터 구할 수 있다. 사후 확률의 계산 => 베이즈 정리 사후확률 P(A|B)을 사전확률 P(A),P(B) 및 조건부확률 P(B|A)로 표현할 수 있음 - 여기서 P(Ai|Bj)는 사후확률 B는 관측, A는 원인, 즉, 관측 B를 보고 원..
단순 선형 회귀분석 - 회귀계수의 구간추정
2020. 4. 9. 20:52
✏️ Mathemathics/Statistics and Probability
더보기 베타 1은 Sxy/Sxx다 x,y의 공분산/x의 편차제곱 통계는 뭐라 그랬냐? 통계는 다 변동성이다. 딱 결정된것이 아니라 변동성이 있다. 하나의 값이 아니라 구간으로 추정한다. 평균을 추정하든 분산을 추정하든 비율을 추정하든 점추정이 있고 구간추정이 있다. 지난시간 점추정을 했고 이번시간 구간추정을 배워보자 더보기 확률변수는 입실론이다. 베타0 베타1은 파라미터 모수다. 근데 yi가 확률변수가 된다는 의미는 오차항이 확률변수이기 때문이다. 오차항이 정규분포를 따른다는 것을 가정하고 있다. 베타1의 추정량을 살펴보자. 더보기
단순 선형 회귀분석 - 회귀식 추정 및 결정계수
2020. 4. 9. 18:19
✏️ Mathemathics/Statistics and Probability
점추정 값, 구간추정 값이 있다. 마찬가지로 회귀 식에서도 점추정할 수 있고 구간 추정할 수 있다. 그러려면 분산의 개념을 알아야 한다. 오차가 작으면 구간도 작다. 분산이 작을수록 베타1 베타0의 구간이 작게 나타날 것이다. 상세설명 더보기 베타0 베타1 은 파라미터 모수가 된다. 확률변수 yi 가 될수 있는 것은 입실론이다. 입실론은 N(0,분산) 즉 정규분포를 따르고, 따라서 yi가 정규분포를 따른다. 우리는 오차항에 대한 분포를 알아야 yi의 분포도 알 수 있다. 점추정을 할 수 도있고 구간 추정을 할 수도 있다. 오차분산이 작을수록 회귀직선에 더욱 가깝다. 분산이 작을수록 추정하고자하는 베타0와 베타1의 구간도 작게 나타날 것이다. 오차분산은 ^yi와 실제 관측값 yi의 편차를 이용하여 추정한다..
3주차 과제
2020. 4. 2. 12:15
✏️ Mathemathics/Statistics and Probability