\( \def\mydiv{\,\vert\,} \def\argmax{\mathrm{argmax}} \def\mysep{\mskip1mu} \def\mysepp{\mskip2mu} \newcommand{\diffo}[1]{\mskip2mu\text{d} #1} \newcommand{\dtheta}{\diffo{\theta}} \)(문제). 동전을 두 번 던졌을 때 가능한 iid 표본 $\vec x$는 00, 01, 10, 11의 4 경우가 있다. 이 모든 경우 각각에 대하여 가능도, 주변확률 및 사후확률을 구하여라. 그리고 각 경우에 MLE 추정량, MAP 추정량 및 베이즈 기댓값 추정량을 구하여라.
이 문제는 [예제 6.20]의 연장이므로 문제가 요구하는 것이 무엇인지를 정확히 알기 위해서는 [예제 6.20]을 읽어 보아야만 한다.
모수 $\theta$는 동전을 던졌을 때 앞면이 나올 확률이다. 앞면을 1, 뒷면을 0으로 나타낸다. 그러면 정의에 의해서 $\pi(1\mydiv \theta) = 1$, $\pi(0\mydiv \theta) = 1-\theta$ 이 된다. 동전을 던지기 전에는 아무런 정보가 없으므로 사전확률을 $\pi(\theta) = 1,\;(0 \le \theta \le 1)$로 둔다.
이 문제에서 사용하는 베이즈 규칙은 다음과 같다.
\begin{align*} \pi(\theta\mydiv\vec{x}\mysep) &= \frac{f(\vec x\mysep\mydiv \theta) \times \pi(\theta)}{m(\vec x\mysep)}, \text{ where } \label{eq:bayes_est} \tag{$*1$} \\ & m(\vec x\mysep) = \int_{-\infty}^\infty f(\vec x\mysep\mydiv \theta) \times \pi(\theta) \,\dtheta : \text{주변확률, marginal probability}\notag \\ & \pi(\theta\mydiv\vec x\mysep) : \text{사후확률} \notag\\ & \pi(\theta) : \text{사전확률} \notag\\ & f(\vec x\mysep\mydiv \theta) : \text{가능도} \notag \end{align*}(풀이). [예제 6.20]에서는 $\vec x = 01$일 때의 사후확률 $\pi(\theta\mydiv 01) = 6\theta(1-\theta)$과 MAP 추정량 $\frac{1}{2}$를 구해 놓았다.
가능도 $f(01 \mydiv \theta)$는 첫 번째 관측과 두 번째 관측이 독립이므로 $f(0\mydiv \theta) \cdot f(1\mydiv \theta) = (1-\theta)\theta$가 된다.
주변확률 $m(01)$을 구하기 위하여 \eqref{eq:bayes_est}의 양변을 정적분하면 좌변은 항상 1이 되고 우변은 $\int_0^1 (1-\theta)\theta \dtheta/m(01)$ 이므로 $ m(01) = \int_0^1 (1-\theta)\theta \dtheta = \frac{1}{6}$을 얻는다.
MLE 추정량은 $\argmax_\theta \theta(1-\theta) = \frac{1}{2}$로 MAP 추정량과 일치한다.
베이즈 기댓값 추정량은 $\int_0^1 \theta\cdot 6\theta(1-\theta) \dtheta = \frac{1}{2}$로 역시 MAP 추정량과 같다.
$\vec x$가 00, 10, 11인 경우들에 대해서 알아보자.
주변확률은 항상, 아까와 마찬가지로 \eqref{eq:bayes_est}의 양변을 정적분하여 얻는다. 좌변은 1이 되고 우변은 가능도의 적분값을 주변확률로 나눈 값이므로 다음과 같은 결과를 얻는다.
\begin{align*} m(00) &= \int_0^1 f(0\mydiv\theta)^2 \dtheta = \int_0^1 (1-\theta)^2\dtheta = \frac{1}{3}, \quad L(\theta) = (1-\theta)^2 \\ m(10) &= \int_0^1 f(1\mydiv\theta)f(0\mydiv\theta) \dtheta = \int_0^1 \theta(1-\theta)\dtheta = \frac{1}{6}, \quad L(\theta) = \theta(1-\theta) \\ m(11) &= \int_0^1 f(1\mydiv\theta)^2 \dtheta = \int_0^1 \theta^2\dtheta = \frac{1}{3}, \quad L(\theta) = \theta^2 \end{align*}사후확률은 단순히 가능도를 주변확률로 나눈 것이다. 왜냐하면 사전확률이 1이므로.
\begin{align*} & \pi(\theta\mydiv 00) = 3(1-\theta)^2, \quad \hat\theta = 0 \\ & \pi(\theta\mydiv 10) = 6\theta(1-\theta), \quad \hat\theta = \frac{1}{2} \\ & \pi(\theta\mydiv 11) = 3\theta^2, \quad \hat\theta = 1 \end{align*}MLE 추정량은 항상 MAP 추정량과 일치한다. 왜냐하면 사전확률과 사후확률은 정비례하고 있으므로.
베이즈 기댓값 추정량은 $\vec x = 10$인 경우는 이전과 같이 $\frac{1}{2}$ 임을 금방 알 수 있다. 나머지 경우에는 다음과 같이 계산된다.
\begin{align*} \vec x = 00\;&:\; \int_0^1 3\theta(1-\theta)^2 \dtheta = \frac{1}{4} \\ \vec x = 11\;&:\; \int_0^1 3\theta^3 \dtheta = \frac{3}{4} \end{align*} [홈으로]