연습문제 6.19

지수분포의 모수 $λ > 0$ 에 대한 MLE 추정량 $\hat{λ}$ 를 구하는 문제이다.

(풀이). 지수분포 $X$ 의 확률함수 $f (x) = λ e^{- λ x}$ , $(x \geq 0)$ 의 그래프는 $λ = 1$ 인 경우의 $x \mapsto e^{- x}$ 의 그래프로부터 쉽게 그릴 수 있을 것이다.

$f$ 의 가능도 함수 $L (λ)$ 와 이것의 로그 $ℓ (λ)$ 를 다음과 같이 얻는다.

\begin{aligned} L (λ) & = \prod_{i = 1}^{n} λ e^{- λ x_{i}} = λ^{n} \prod_{i = 1}^{n} e^{- λ x_{i}} \\ ℓ (λ) & = \log λ^{n} + \sum_{i = 1}^{n} \log e^{- λ x_{i}} = n \log λ - λ \sum_{i = 1}^{n} x_{i} \end{aligned}

이렇게 얻은 $ℓ$ 을 $λ$ 에 대해서 미분하고 $ℓ (λ) = 0$ 가 되는 $λ$ 를 찾으면 된다.

\begin{aligned} ℓ^{'} (λ) & = \frac{n}{λ} - n \bar{x} = 0 at λ = \hat{λ} \\ ∴ \hat{λ} & = \frac{1}{\bar{x}} \end{aligned}

$ℓ^{″} (λ) = - \frac{1}{λ^{2}} < 0$ 이므로 $ℓ$ 은 $λ = \hat{λ} = \frac{1}{\bar{x}}$ 에서 최댓값을 가짐을 알 수 있다. ✓

$\hat{λ} = \frac{1}{\bar{x}}$ 가 비편향추정량인지를 알기 위하여 $E [\frac{1}{\bar{X}}] = λ$ 여부를 판단해야 한다.

지수분포의 경우 $E [\bar{X}] = μ_{X} = \frac{1}{λ}$ 임이 알려져 있으므로 이 식의 양변의 역수를 취하여 $E [\frac{1}{\bar{X}}] = λ$ 가 된다고 생각할 수 있으나 그렇지 않다. 일반적으로 $E [g (X)] = g (E [X])$ 는 $g$ 가 1차함수일 때만 성립하며, 특히 $g$ 가 아래로 볼록일 때는 항상 $E [g (X)] > g (E [X])$ 이다. 이 부등식에 대해서는 p171에 있는 [고찰 6.2]의 증명에 설명이 나와 있다.

결국 $\hat{λ}$ 는 (항상 Bias > 0 인) $λ$ 의 비편향추정량임을 알 수 있다.

$E [\bar{X}] = μ_{X} = \frac{1}{λ}$ 의 증명은 다음과 같다.

$μ_{X} = \int_{0}^{\infty} x λ e^{- λ x} d x$ 의 값을 부분적분에 의하여 다음과 같이 구한다.

\begin{aligned} \int_{0}^{\infty} x λ e^{- λ x} d x = λ {[x \cdot \frac{e^{- λ x}}{- λ}]}_{0}^{\infty} - λ \int_{0}^{\infty} \frac{e^{- λ x}}{- λ} d x \end{aligned}

위 식의 우변의 첫 번째 항은 로피탈의 규칙에 의하여 0 임을 알 수 있다. 두 번째 항은

\begin{aligned} \int_{0}^{\infty} e^{- λ x} d x = {[- \frac{e^{- λ x}}{λ}]}_{0}^{\infty} = 0 - (- \frac{1}{λ}) = \frac{1}{λ} \end{aligned}

로 계산되어 우리가 원하던 결과를 얻었다. ✓

[홈으로]