\( \def\defeql{\stackrel{\mathrm{def}}{=}} \def\rR{\mathbb R} \newcommand{\nN}{\mathbb N} \newcommand{\into}{\rightarrow} \newcommand{\biImpl}{\;\Leftrightarrow\;} \newcommand{\abs}[1]{\left\lvert\mskip1mu#1\mskip1mu\right\rvert} \newcommand{\norm}[1]{\left\lVert\mskip1mu#1\mskip1mu\right\rVert} \newcommand{\sse}{SSE} \newcommand{\mse}{MSE} \newcommand{\sxx}{S_{XX}} \newcommand{\sxy}{S_{XY}} \newcommand{\syy}{S_{YY}} \newcommand{\ssr}{SSR} \newcommand{\sst}{SST} \) 상관계수 \[ r \defeql \frac{\sxy}{\sqrt{\sxx\syy}} \] 은 다음과 같은 성질을 가진다.
위의 사실들의 증명은 코시-슈바르츠 부등식 \begin{gather*} \norm{\vec u}\norm{\vec v} \ge \abs{\vec u\cdot \vec v},\text{ and equality holds iff }\; \exists k(\vec u = k\vec v \text{ or } \vec v = k\vec u) \end{gather*} 를 사용하면 쉽게 증명된다.
(코시-슈바르츠 부등식의 증명): [펼치기]|
이 부등식은 일반적인 복소벡터공간에 대해서도 성립하지만 여기서는 $\vec u,\vec v\in\rR^n$인 경우에 대해서만 증명하기로 한다.
$\vec v = \vec 0$인 경우에는 등식이 항상 성립하므로 더 이상 논의할 것이 별로 없다. $\vec v \ne \vec 0$를 가정하자.
$\vec u = (u_{1},\ldots,u_{n})$, $\vec v = (v_{1},\ldots,v_{n})$로 놓고 \begin{equation}\label{schwarz1} (u_{1}^{2} + \cdots + u_{n}^{2})(v_{1}^{2} + \cdots + v_{n}^{2}) \ge (u_{1}v_{1} + \cdots u_{n}v_{n})^2 \tag{$*1$} \end{equation} 을 보여야 한다. 모든 실수 $t$에 대하여 다음의 부등식이 성립함에 주목한다. \begin{equation}\label{schwarz2} (u_{1} - v_{1}t)^{2} + \cdots + (u_{n} - v_{n}t)^{2} \ge 0 \tag{$*2$} \end{equation} $t$에 대한 2차식으로 정리하면 \begin{equation}\label{schwarz3} \norm{\vec v}^{2}t^{2} - 2(\vec u \cdot \vec v\mskip1mu)t + \norm{\vec u}^{2} \ge 0 \tag{$*3$} \end{equation} 모든 $t$에 대하여 위의 부등식이 성립한다는 것은 (2차항의 계수가 0이 아니므로) 판별식이 0 이하라는 것을 함의한다. 즉, \begin{equation*} (\vec u \cdot \vec v)^{2} - \norm{\vec u}^{2}\norm{\vec v}^{2} \le 0 \end{equation*} 이 성립하며 이것이 바로 우리가 보이려던 부등식 \eqref{schwarz1}이다.
이제 등호 관련 명제를 증명하기 위하여 $ \norm{\vec u}^{2}\norm{\vec v}^{2} = (\vec u \cdot \vec v\mskip1mu)^{2}$을 가정하자. 그러면 판별식이 0이며 따라서 \eqref{schwarz3}의 좌변의 값, 즉 \eqref{schwarz2}의 좌변의 값이 0이 되는 $t\defeql k$가 존재한다. 제곱들의 합이 0이라는 것은 모든 $(u_i - v_i t)^2$이 각각 0이라는 것을 의미하므로 $u_{1} = k v_{1},\ldots,u_{n}=k v_{n}$이 성립한다. 즉 $\vec u = k\vec v$이다.
역방향의 증명은 아주 쉽다. $\quad\Box$
(1)의 증명:
$r^2 \le 1$, 즉 $\Bigl(\sum_i (x_i - \bar x)\sum_i(y_i - \bar y)\Bigr)^2 \le \sum_i (x_i - \bar x)^2 \sum_i (y_i - \bar y)^2$을 보이면 된다.
이 부등식은 $u_i = x_i - \bar x$, $v_i = y_i - \bar y$로 두고 코시-슈바르츠 부등식을 적용하면 바로 얻어진다.
(2)의 증명:
$\sse = \sum_i(y_i - a - bx_i)^2$이므로 $\sse = 0$는 모든 점들이 $y_i = a + bx_i$를 만족할 때, 즉 적합선 상에 있을 때, 그리고 이때만 성립한다.
$\abs{r} = 1$은 코시-슈바르츠 부등식에서 등호가 성립함을 의미하며 이는 $\vec u = k\vec v$ 또는 $\vec v = k\vec u$인 $k\in\rR$이 존재함을 의미한다.
만일 모든 $i$에 대해서 $y_i = a + bx_i$라면 ($a = \bar y - b\bar x$이므로) $y_i = (\bar y - b\bar x) + bx_i$이고 이는 $y_i - \bar y = b(x_i - \bar x)$, 즉 $\vec u = b\vec v$를 함의한다. 따라서 $\abs{r} = 1$이다. 역방향의 증명은 비슷한 방법으로 쉽게 이루어지므로 생략한다.
$\abs{r}$의 값이 1에 가까울수록 $\sse$는 0에 가깝다는 사실은 [정리 7.7]과 [정리 7.8]에 의하여 얻어지는 $r^2 = 1 - \frac{\sse}{\sst}$로부터 알 수 있다.
(3)의 증명:
\begin{equation*} r=0 \biImpl \sxy = 0 \biImpl \mathrm{Cov}(X,Y) = 0 \end{equation*}(4)의 증명:
$r$의 부호는 정의에 의하여 $\sxy$의 부호와 일치한다. 적합선의 기울기는 $b = \sxy/\sxx$로 계산되므로 역시 부호가 $\sxy$와 일치한다.
[홈으로]