[기초통계] 회귀분석(회귀 계수의 유의성 검정)

이전 포스팅에선 회귀식의 유의성(적합성)을 검정하였다면, 이제는 회귀식 내에 존재하는 회귀계수가 유의한지에 대해 파악해보아야 한다.

 

 

[기초통계] 회귀분석(적합도 검정, 결정계수)

[ 회귀식의 유의성 검정에 관한 이전 포스팅 ]

 

 

 

 

 

- 회귀계수 ($\hat{\beta_0}, \hat{\beta_1}$)의 유의성 검정

 

회귀식 $\hat{Y} = \hat{\beta_0}+\hat{\beta_1}X_1$에서  $\hat{\beta_0}$은 회귀선의 절편을, $\hat{\beta_1}$은 회귀선의 기울기를 의미한다. 이 각각의 회귀계수가 의미가 있는지 판단하는 과정이 필요하며 이런 과정을 회귀계수의 유의성 검정이라 일컫는다.

 

과거 포스팅에서 언급한 바 있지만, 회귀식에서 사용되는 $\hat{\beta_0}$과 $\hat{\beta_1}$은 아래와 같은 과정을 통해 구할 수 있다.

 

$\hat{\beta_0}= \bar{Y}-\beta_1\bar{X}$

$\hat{\beta_1}= \frac{\sum(X_i-\bar{X})(Y_i-\bar{Y})}{\sum(X_i-\bar{X})^2}$

 

 

 

 

1.  $\hat{\beta_0}$ 의 유의성 검정

$\hat{\beta_0}$은 회귀식에서 상수항을 나타낸다. 상수항의 유의성 검정은 아래와 같은 가설을 통해 이루어진다.

 

$H_0$ : $\hat{\beta_0}$ = 0

$H_1$ : $\hat{\beta_0}$ $\neq$  0

 

 

 

이러한 가설이 수립되면 $\hat{\beta_0}$에 대한 검정통계량은 다음과 같이 계산할 수 있다.

 

검정통계량 $t$ = $\frac{\hat{\beta_0}-\beta_0}{s_{\hat{\beta_0}}}$ = $\frac{\hat{\beta_0}-0}{s_{\hat{\beta_0}}}$ = $\frac{\hat{\beta_0}}{s_{\hat{\beta_0}}}$

 

 

 

이렇게 구한 검정통계량 $t$에 관해서 아래와 같은 조건이 만족되면, 귀무가설을 기각시키고 대립가설을 선택하여 "회귀식의 상수항이 유의미하다"는 판단을 할 수 있다.

 

$|t|$ > $t_{(n-2, \alpha/2)}$

 

 

 

 

 

 

2.  $\hat{\beta_1}$ 의 유의성 검정

$\hat{\beta_1}$에 대한 유의성 검정도 위와 별반 다르지 않다. $\hat{\beta_1}$은 회귀식에서 독립변수와 종속변수의 관계를 나타내는 기울기를 뜻한다. $\hat{\beta_1}$의 유의성 검정은 아래와 같은 가설을 통해 이루어진다.

 

$H_0$ : $\hat{\beta_1}$ = 0

$H_1$ : $\hat{\beta_1}$ $\neq$  0

 

 

 

이러한 가설이 수립되면 $\hat{\beta_1}$에 대한 검정통계량은 다음과 같이 계산할 수 있다.

 

검정통계량 $t$ = $\frac{{\hat{\beta_1}}-\beta_1}{s_{\hat{\beta_1}}}$ = $\frac{\hat{\beta_1}-0}{s_{\hat{\beta_1}}}$ = $\frac{\hat{\beta_1}}{s_{\hat{\beta_1}}}$

 

 

 

이렇게 구한 검정통계량 $t$에 관해서 아래와 같은 조건이 만족되면, 귀무가설을 기각시키고 대립가설을 선택하여 "회귀식의 기울기가 유의미하다"는 판단을 할 수 있다.

 

$|t|$ > $t_{(n-2, \alpha/2)}$

 

 

 

 

 

 

+ 회귀계수의 유의성을 판단하는데 왜 t검정을 사용할까?

회귀식을 추정할 때, 최소자승법(최소제곱법)을 이용하여 표본에서 표본 회귀계수를 계산한다.

표본에서 도출된 회귀계수는 표본의 구성에 따라 변하게 되며, 이 때 회귀계수의 분포를 확인해야한다. 최소자승법(최소제곱법)이 잔차의 제곱합으로 이루어지는 만큼, 표본의 잔차에서 구한 분산을 이용하게 되는데, 모수를 알 수 없는 경우가 대부분이므로 t분포를 이용하게 되는것이다. (모수를 알면 z분포를 사용하면 된다.)