연습문제 6.23

$$(문제).  동전을 두 번 던졌을 때 가능한 iid 표본 $\overrightarrow{x}$는 00, 01, 10, 11의 4 경우가 있다. 이 모든 경우 각각에 대하여 가능도, 주변확률 및 사후확률을 구하여라. 그리고 각 경우에 MLE 추정량, MAP 추정량 및 베이즈 기댓값 추정량을 구하여라.

이 문제는 [예제 6.20]의 연장이므로 문제가 요구하는 것이 무엇인지를 정확히 알기 위해서는 [예제 6.20]을 읽어 보아야만 한다.

모수 $\theta$는 동전을 던졌을 때 앞면이 나올 확률이다. 앞면을 1, 뒷면을 0으로 나타낸다. 그러면 정의에 의해서 $\pi (1|\theta )=1$, $\pi (0|\theta )=1-\theta$ 이 된다. 동전을 던지기 전에는 아무런 정보가 없으므로 사전확률을 $\pi (\theta )=1,(0\le \theta \le 1)$로 둔다.

이 문제에서 사용하는 베이즈 규칙은 다음과 같다.

(풀이).   [예제 6.20]에서는 $\overrightarrow{x}=01$일 때의 사후확률 $\pi (\theta |01)=6\theta (1-\theta )$과 MAP 추정량 $\frac{1}{2}$를 구해 놓았다.

가능도 $f(01|\theta )$는 첫 번째 관측과 두 번째 관측이 독립이므로 $f(0|\theta )\cdot f(1|\theta )=(1-\theta )\theta$가 된다.

주변확률 $m(01)$을 구하기 위하여 $\text{(}\ast 1\text{)}$의 양변을 정적분하면 좌변은 항상 1이 되고 우변은 ${\int }_0^1(1-\theta )\theta \text{d}\theta /m(01)$ 이므로 $m(01)={\int }_0^1(1-\theta )\theta \text{d}\theta =\frac{1}{6}$을 얻는다.

MLE 추정량은 ${\mathrm{argmax}}_{\theta }\theta (1-\theta )=\frac{1}{2}$로 MAP 추정량과 일치한다.

베이즈 기댓값 추정량은 ${\int }_0^1\theta \cdot 6\theta (1-\theta )\text{d}\theta =\frac{1}{2}$로 역시 MAP 추정량과 같다.

$\overrightarrow{x}$가 00, 10, 11인 경우들에 대해서 알아보자.

주변확률은 항상, 아까와 마찬가지로 $\text{(}\ast 1\text{)}$의 양변을 정적분하여 얻는다. 좌변은 1이 되고 우변은 가능도의 적분값을 주변확률로 나눈 값이므로 다음과 같은 결과를 얻는다.

사후확률은 단순히 가능도를 주변확률로 나눈 것이다. 왜냐하면 사전확률이 1이므로.

MLE 추정량은 항상 MAP 추정량과 일치한다. 왜냐하면 사전확률과 사후확률은 정비례하고 있으므로.

베이즈 기댓값 추정량은 $\overrightarrow{x}=10$인 경우는 이전과 같이 $\frac{1}{2}$ 임을 금방 알 수 있다. 나머지 경우에는 다음과 같이 계산된다.