상관계수의 성질

상관계수

r \overset{def}{=} \frac{S_{X Y}}{\sqrt{S_{X X} S_{Y Y}}}

은 다음과 같은 성질을 가진다.

위의 사실들의 증명은 코시-슈바르츠 부등식

\begin{matrix} ‖ \vec{u} ‖ ‖ \vec{v} ‖ \geq | \vec{u} \cdot \vec{v} |, and equality holds iff \exists k (\vec{u} = k \vec{v} or \vec{v} = k \vec{u}) \end{matrix}

를 사용하면 쉽게 증명된다.

이 부등식은 일반적인 복소벡터공간에 대해서도 성립하지만 여기서는 $\vec{u}, \vec{v} \in R^{n}$ 인 경우에 대해서만 증명하기로 한다.

$\vec{v} = \vec{0}$ 인 경우에는 등식이 항상 성립하므로 더 이상 논의할 것이 별로 없다. $\vec{v} \neq \vec{0}$ 를 가정하자.

$\vec{u} = (u_{1}, \dots, u_{n})$ , $\vec{v} = (v_{1}, \dots, v_{n})$ 로 놓고 $\begin{matrix} (* 1) & (u_{1}^{2} + \dots + u_{n}^{2}) (v_{1}^{2} + \dots + v_{n}^{2}) \geq (u_{1} v_{1} + \dots u_{n} v_{n})^{2} \end{matrix}$ 을 보여야 한다. 모든 실수 $t$ 에 대하여 다음의 부등식이 성립함에 주목한다. $\begin{matrix} (* 2) & (u_{1} - v_{1} t)^{2} + \dots + (u_{n} - v_{n} t)^{2} \geq 0 \end{matrix}$ $t$ 에 대한 2차식으로 정리하면 $\begin{matrix} (* 3) & {‖ \vec{v} ‖}^{2} t^{2} - 2 (\vec{u} \cdot \vec{v}) t + {‖ \vec{u} ‖}^{2} \geq 0 \end{matrix}$ 모든 $t$ 에 대하여 위의 부등식이 성립한다는 것은 (2차항의 계수가 0이 아니므로) 판별식이 0 이하라는 것을 함의한다. 즉, $(\vec{u} \cdot \vec{v})^{2} - {‖ \vec{u} ‖}^{2} {‖ \vec{v} ‖}^{2} \leq 0$ 이 성립하며 이것이 바로 우리가 보이려던 부등식 $(* 1)$ 이다.

이제 등호 관련 명제를 증명하기 위하여 ${‖ \vec{u} ‖}^{2} {‖ \vec{v} ‖}^{2} = (\vec{u} \cdot \vec{v})^{2}$ 을 가정하자. 그러면 판별식이 0이며 따라서 $(* 3)$ 의 좌변의 값, 즉 $(* 2)$ 의 좌변의 값이 0이 되는 $t \overset{def}{=} k$ 가 존재한다. 제곱들의 합이 0이라는 것은 모든 $(u_{i} - v_{i} t)^{2}$ 이 각각 0이라는 것을 의미하므로 $u_{1} = k v_{1}, \dots, u_{n} = k v_{n}$ 이 성립한다. 즉 $\vec{u} = k \vec{v}$ 이다.

역방향의 증명은 아주 쉽다. $◻$

r^{2} \leq 1

, 즉

(\sum_{i} (x_{i} - \bar{x}) \sum_{i} (y_{i} - \bar{y}))^{2} \leq \sum_{i} (x_{i} - \bar{x})^{2} \sum_{i} (y_{i} - \bar{y})^{2}

을 보이면 된다.

이 부등식은

u_{i} = x_{i} - \bar{x}

v_{i} = y_{i} - \bar{y}

로 두고 코시-슈바르츠 부등식을 적용하면 바로 얻어진다.

S S E = \sum_{i} (y_{i} - a - b x_{i})^{2}

이므로

S S E = 0

는 모든 점들이

y_{i} = a + b x_{i}

를 만족할 때, 즉 적합선 상에 있을 때, 그리고 이때만 성립한다.

| r | = 1

은 코시-슈바르츠 부등식에서 등호가 성립함을 의미하며 이는

\vec{u} = k \vec{v}

또는

\vec{v} = k \vec{u}

인

k \in R

이 존재함을 의미한다.

만일 모든

i

에 대해서

y_{i} = a + b x_{i}

라면 (

a = \bar{y} - b \bar{x}

이므로)

y_{i} = (\bar{y} - b \bar{x}) + b x_{i}

이고 이는

y_{i} - \bar{y} = b (x_{i} - \bar{x})

, 즉

\vec{u} = b \vec{v}

를 함의한다. 따라서

| r | = 1

이다. 역방향의 증명은 비슷한 방법으로 쉽게 이루어지므로 생략한다.

| r |

의 값이 1에 가까울수록

S S E

는 0에 가깝다는 사실은 [정리 7.7]과 [정리 7.8]에 의하여 얻어지는

r^{2} = 1 - \frac{S S E}{S S T}

로부터 알 수 있다.

r

의 부호는 정의에 의하여

S_{X Y}

의 부호와 일치한다. 적합선의 기울기는

b = S_{X Y} / S_{X X}

로 계산되므로 역시 부호가

S_{X Y}

와 일치한다.