\( \def\eE{\mathbb{E}\mskip2mu} \)지수분포의 모수 $\lambda > 0$에 대한 MLE 추정량 $\hat\lambda$를 구하는 문제이다.
(풀이). 지수분포 $X$의 확률함수 $f(x) = \lambda e^{-\lambda x}$, $(x\ge 0)$의 그래프는 $\lambda=1$인 경우의 $x \mapsto e^{-x}$의 그래프로부터 쉽게 그릴 수 있을 것이다.
$f$의 가능도 함수 $L(\lambda)$와 이것의 로그 $\ell(\lambda)$를 다음과 같이 얻는다.
\begin{align*} L(\lambda) &= \prod_{i=1}^n \lambda e^{-\lambda x_i} = \lambda^n \prod_{i=1}^n e^{-\lambda x_i} \\ \ell(\lambda) &= \log \lambda^n + \sum_{i=1}^n \log e^{-\lambda x_i} = n\log \lambda - \lambda \sum_{i=1}^n x_i \end{align*}이렇게 얻은 $\ell$을 $\lambda$에 대해서 미분하고 $\ell(\lambda)=0$가 되는 $\lambda$를 찾으면 된다.
\begin{align*} \ell'(\lambda) &= \frac{n}{\lambda} - n\bar x = 0 \text{ at } \lambda = \hat\lambda \\ \therefore\; \hat\lambda &= \frac{1}{\bar x} \end{align*}$\ell''(\lambda) = -\frac{1}{\lambda^2} < 0$ 이므로 $\ell$은 $\lambda = \hat\lambda = \frac{1}{\bar x}$에서 최댓값을 가짐을 알 수 있다. ✓
$\hat\lambda = \frac{1}{\bar x}$가 비편향추정량인지를 알기 위하여 $\eE[\frac{1}{\bar X}] = \lambda$ 여부를 판단해야 한다.
지수분포의 경우 $\eE[\bar X] = \mu_X = \frac{1}{\lambda}$ 임이 알려져 있으므로 이 식의 양변의 역수를 취하여 $\eE[\frac{1}{\bar X}] = \lambda$가 된다고 생각할 수 있으나 그렇지 않다. 일반적으로 $\eE[g(X)] = g(\eE[X])$는 $g$가 1차함수일 때만 성립하며, 특히 $g$가 아래로 볼록일 때는 항상 $\eE[g(X)] > g(\eE[X])$이다. 이 부등식에 대해서는 p171에 있는 [고찰 6.2]의 증명에 설명이 나와 있다.
결국 $\hat\lambda$는 (항상 Bias > 0 인) $\lambda$의 비편향추정량임을 알 수 있다.
$\eE[\bar X] = \mu_X = \frac{1}{\lambda}$의 증명은 다음과 같다.
$\mu_X = \int_0^\infty x\lambda e^{-\lambda x}\,dx$의 값을 부분적분에 의하여 다음과 같이 구한다.
\begin{align*} & \int_0^\infty x\lambda e^{-\lambda x}\,dx = \lambda\left[ x\cdot \frac{e^{-\lambda x}}{-\lambda} \right]_0^\infty - \lambda\int_0^\infty \frac{e^{-\lambda x}}{-\lambda}\,dx \end{align*}위 식의 우변의 첫 번째 항은 로피탈의 규칙에 의하여 0 임을 알 수 있다. 두 번째 항은
\begin{align*} & \int_0^\infty e^{-\lambda x}\,dx = \left[ -\frac{e^{-\lambda x}}{\lambda}\right]_0^\infty = 0 - \left(-\frac{1}{\lambda}\right) = \frac{1}{\lambda} \end{align*}로 계산되어 우리가 원하던 결과를 얻었다. ✓
[홈으로]