[기초통계] 고유값, 고유벡터 개념 정리

- 고유값(Eigen Value), 고유벡터(Eigen Vector)

선형대수학에서 가장 중요한 개념중의 하나인 고유값과 고유벡터에 대해 알아보도록 하자. 이는 추후 차원 축소 기법인 PCA나 SVD같은 기법을 배우는데 기초가 된다!

 

 

 

- 고유값 및 고유벡터 정의 

정방행렬  $A$에 대하여, 아래를 만족할 경우 $x$는 고유벡터(Eigen Vector)이고 λ는 고유값(Eigen Value)이다.

(여기서 정방행렬은 행과 열의 개수가 같은 행렬을 일컫는다.)

 

- $Ax$ = λ$x$

- 아래와 같이  $A$는 $x$를 선형변환한다.

 

 

좀 더 쉽게 설명해보자.

위 그래프를 살펴보면 파란색 화살표에 대해서 임의의 값(λ) 값을 곱해도, 회색 화살표처럼 방향은 같은 것을 볼 수 있다. 이러한 벡터를 고유벡터라 칭한다. 여기서의 임의의 값은 벡터가 늘어나거나 줄어든 정도를 뜻하며, 이를 고유값이라고 이해하면 된다.

 

- 고유값&고유벡터 설명 그래프 -

 

 

 

 

- 고유값 및 고유벡터 예시

아래 예시를 통해서 한 번 더 쉽게 이해해보도록 하자. 왼쪽 그래프는 선형변환 전의 모습이고, 오른쪽 그래프는 선형변환 후의 모습이다.

 

1. 빨간색 화살표부터 살펴보면, 선형변환 전과 후의 방향과 화살표의 길이가 다른것을 볼 수 있다.

   즉, 빨간색 화살표는 고유벡터가 아니며, 고유값도 일정치 않다고 판단할 수 있다.

 

2. 파란색 화살표는 선형변환 전과 후의 화살표 방향이 같은 것을 볼 수 있다. 따라서 고유벡터의 조건을 만족한다.

   하지만 화살표의 길이가 길어진 것으로 보아, 선형변환 후 고유값의 절대값이 더 커진 것으로 판단할 수 있다.

 

3. 분홍색 화살표는 선형변화 전과 후의 화살표 방향 및 크기가 모두 같은 것을 볼 수 있다.

   따라서 고유벡터의 조건을 만족하며, 두 경우의 고유값도 같은 것을 알 수 있다.   

 

 

-  1. 선형변환 전 -                                                       - 2. 선형변환 후 -