포아송 분포의 모수 $\lambda > 0$에 대한 MLE 추정량 $\hat\lambda$를 구하는 문제이다.
참고로 포아송 분포의 그래프는 p103 [실습 4.44]의 그림에 나와 있으며 이 그림을 얻는 R-스크립트는 Chapter_4(pp85-108).ipynb에 있다.
(풀이). 포아송 분포 $X$의 확률함수 $f(x) = \frac{e^{-\lambda}\lambda^x}{x!}$, $(x=0,1,2,\ldots)$로부터 가능도 함수 $L(\lambda)$와 이것의 로그 $\ell(\lambda)$를 다음과 같이 얻는다.
\begin{align*} L(\lambda) &= \prod_{i=1}^n \frac{\lambda^{x_i}e^{-\lambda}}{x_i!} \\ \ell(\lambda) &= \sum_{i=1}^n \log\frac{\lambda^{x_i}e^{-\lambda}}{x_i!} = \sum_{i=1}^n \Bigl( \log\lambda^{x_i} + \log e^{-\lambda} - \log x_i! \Bigr) \\ &= \sum_{i=1}^n \Bigl( x_i\log\lambda -\lambda - \log x_i! \Bigr) = -n\lambda + \log\lambda \sum_{i=1}^n x_i - \sum_{i=1}^n\log x_i! \end{align*}이렇게 얻은 log likelifhood function $\ell$을 $\lambda$에 대해서 미분하고 $\ell(\lambda) = 0$가 되는 $\lambda$를 찾으면 된다.
\begin{align*} \ell'(\lambda) &= -n + \frac{1}{\lambda} \sum_{i=1}^n x_i = 0 \text{ at } \lambda = \hat\lambda\\ \therefore\;\hat\lambda &= \frac{1}{n}\sum_{i=1}^n x_i = \bar x \end{align*}$\ell''(\lambda) = -\frac{1}{\lambda^2}\sum_i x_i < 0$ 이므로 $\ell$은 $\lambda = \hat\lambda = \bar x$에서 최댓값을 가짐을 알 수 있다. $\;\checkmark$
\( \def\eE{\mathbb{E}\mskip2mu} \)편향을 계산하려면 $\eE[\hat\lambda] - \lambda = \eE[\bar X] - \lambda = \mu_X - \lambda $이므로 $\mu_X = \sum_{x=0}^\infty x\cdot f(x)$를 먼저 구해야 한다.
\begin{align*} \mu_X &= \sum_{x=0}^\infty \frac{x\cdot e^{-\lambda}\lambda^x}{x!} = e^{-\lambda}\sum_{x=0}^\infty \frac{x\lambda^x}{x!} \end{align*}이므로 결국 문제는 $\sum_{n=0}^\infty \frac{nx^n}{n!}$의 값을 $x=\lambda$에서 구하는 것으로 귀결된다.
항등식 $\sum_{n=0}^\infty \frac{x^n}{n!} = e^x$의 양변에 $x$를 곱한 다음 $x$에 대해서 미분하면 다음과 같이 진행할 수 있다.
\begin{align*} & \sum_{n=0}^\infty \frac{(n+1)x^n}{n!} = (xe^x)' = e^x + xe^x \\ & \sum_{n=0}^\infty \frac{nx^n}{n!} + \sum_{n=0}^\infty \frac{x^n}{n!} = xe^x + e^x \\ &\therefore\; \sum_{n=0}^\infty \frac{nx^n}{n!} = xe^x \end{align*}그러므로 $\mu_X = e^{-\lambda} \lambda e^\lambda = \lambda$를 얻게 되고, 따라서 $\eE[\hat\lambda] - \lambda = \mu_X - \lambda = \lambda - \lambda = 0$ 이다. 즉 우리가 얻은 MLE 추정량 $\hat\lambda$는 비편향추정량이다.
[홈으로]