잔차의 모멘트

\( \def\defeql{\stackrel{\mathrm{def}}{=}} \def\cD{\mathcal{D}} \def\rR{\mathbb R} \newcommand{\nN}{\mathbb N} \newcommand{\st}{\bigm\vert} \newcommand{\into}{\rightarrow} \newcommand{\biImpl}{\;\Leftrightarrow\;} \newcommand{\abs}[1]{\left\lvert\mskip1mu#1\mskip1mu\right\rvert} \newcommand{\norm}[1]{\left\lVert\mskip1mu#1\mskip1mu\right\rVert} \newcommand{\sse}{SSE} \newcommand{\mse}{MSE} \newcommand{\sxx}{S_{XX}} \newcommand{\sxy}{S_{XY}} \newcommand{\syy}{S_{YY}} \newcommand{\ssr}{SSR} \newcommand{\sst}{SST} \)데이터 집합 $\cD = \{ (x_i, y_i) \st i=1,\ldots,n\}$에 단순선형회귀를 적용하여 적합선 $y = a + bx$를 얻고 $\hat y_i = a + bx_i$, $e_i = y_i - \hat y_i$로 두었을 때 $e_i$를 잔차, $x_ie_i$를 잔차의 $x$-모멘트, $\hat y_i e_i$를 잔차의 $\hat y_i$-모멘트라고 한다.

(보조정리 7.6) 다음의 세 등식이 성립한다.

1. $\sum_i e_i = 0$
2. $\sum_i x_i e_i = 0$
3. $\sum_i \hat y_i e_i = 0$

(a)의 증명:

\begin{equation*} f(a,b) \defeql \sse := \sum_{i=1}^n (y_i - (a + bx_i))^2 \label{eq:SSE_lm_pinv} \end{equation*} 로 두었을 때 $f_a = \textstyle \sum_{i=1}^n -2(y_i - (a + bx_i)) = \sum_{i=1}^n -2(y_i - \hat y_i) = \sum_{i=1}^n -2e_i = 0$ $\;\checkmark$

(b)의 증명:

$f_b = \textstyle \sum_{i=1}^n -2x_i(y_i - (a + bx_i)) = \sum_{i=1}^n -2x_i(y_i - \hat y_i) = \sum_{i=1}^n -2x_ie_i = 0$ $\;\checkmark$

(c)의 증명:

[홈으로]