5-6. Exponential Distribution

指数分布

1. Exponential Distribution from Gamma Distribution

The exponential distribution is one of the widely used continuous distributions. It is often used to model the time elapsed between events.

지수분포는 감마분포의 특수한 경우이다. 우선 감마분포의 확률밀도함수를 다시 살펴본다. 연속확률변수인 $X$와 양수인 두 변수$\alpha, \theta >0$ 를 포함하는 감마분포의 확률밀도함수는 다음과 같다.

$f(x; \alpha, \theta) = \left\{ \begin{array}{l l} \frac{1}{\theta ^\alpha \Gamma (\alpha )}x^{\alpha -1}e^{-x / \theta}, \hspace {5pt} x > 0; \alpha, \theta >0 \\ 0 \hspace{61pt} \textrm{, otherwise} \end{array}\right.$

지수 분포는 감마 분포의 $α=1$ 일 때의 특수한 경우입니다. 즉, 감마 분포 확률밀도함수에서 세 변수 $x,\alpha, \theta$ 에서 $α=1$ 로 고정시켜 식을 단순화 시킨 것이 '지수 분포(exponential distribution)' 이다.

다음은 지수분포의 확률밀도함수 입니다,

지수분포(Exponential Distribution)는 확률밀도함수가 지수적으로 감소하는 확률분포이다.

$f(x; \alpha=1, \theta) = \left\{ \begin{array}{l l} \frac {1}{\theta }e^{-x / \theta}, \hspace {5pt} x > 0; \\ 0 \hspace{23pt} \textrm{, otherwise} \end{array}\right.$

or, for $\lambda = \frac {1} {\theta},$

$f(x) = \lambda e^{-\lambda x}$ , $x>0$

2. Expected Value and Variance of Exponential Distribution

Expected Value and Variance of Exponential Distribution

$E(X) =$ $\int_{0}^{\infty } x f(x) dx = \int_{0}^{\infty } x\cdot \frac{1}{\theta }e^{- \frac{x}{\theta}} dx$ $= \frac{1}{\theta } \int_{0}^{\infty } x\cdot e^{- \frac{x}{\theta}} dx = \theta$

$Var(X) =$ $E(X^2) - E(X)^2$ $E(X^2) = \int_{0}^{\infty } x^2 f(x) dx = \int_{0}^{\infty } x^2 \cdot \frac{1}{\theta }e^{- \frac{x}{\theta}} dx = 2\theta^2$

$\therefore Var(X) = 2 \theta^2 - \theta^2 = \theta^2$

Or.

$E(X) = \frac{1}{\lambda }$

$Var(X) = \frac{1}{\lambda ^2}$

Cumulative Distribution Function : $F(X) = P(X \le x) = \int_{0}^{x}\lambda e^{-\lambda x}dx = 1 - e^{-\lambda x}$ , $x>0$

EXAMPLE 30. $\lambda = 1, 2,3,4,5$ 인 지수분포의 확률밀도함수의 누적분포함수 그래프를 작성하시오.

[ Solution ]

R Source

library(Rstat)

# 모수 설정 및 함수 실행 : cont.mpdf()
lamb <- 1:5
cont.mpdf("exp", 0, 3, para=lamb, ymax=5)

Plot

지수분포의 비기억(memoryless) 특성

$P(X> x + y | X>y) = P(X>x)$

EXAMPLE 31. 평균 수명이 10년인 지수분포를 따르는 제품을 5년간 고장없이 사용했을 때 앞으로 3년 더 고장없이 작동할 확률을 구하시오.

[ Solution ]

평균수명 $= \frac{1}{\lambda} = 10$이므로,

$P(X>5+3 | X>5) = \frac{P(X>8)}{P(X>5)} = \frac {e^{-8\lambda}}{e^{-5\lambda}} = e^{-3\lambda}=e^{-0.3}=0.7408$

R Source

library(Rstat)

theta <- 10; lamb <- 1/theta

# Conditional Prob., lower = FALSE
pexp(5+3, lamb, lower=FALSE) / pexp(5, labm, lower=FALSE)

# memoryless 
pexp(3, lamb, lower=FALSE)

P(X>5+3 | X>5)

> # Conditional Prob., lower = FALSE
> pexp(5+3, lamb, lower=FALSE) / pexp(5, lamb, lower=FALSE)
## [1] 0.7408182
> 
> # memoryless 
> pexp(3, lamb, lower=FALSE)
## [1] 0.7408182

EXAMPLE 32. 평균수명이 10,000 시간인 지수분포를 따르는 시스템에 대하여 90%의 확률로 고장 없이 작동할 시간을 구하시오.

[ Solution ]

$\lambda = 1/10,000$ 구하는 시간을 $x$ 라 하면, $P(X>x) = e^{-x/10,000} = 0.9$

$x = - (ln 0.9) * 10,000 = 1,054$

R Source

library(Rstat)

theta <- 10000; lamb <- 1/theta

# 누적확률이 1-0.9인 분위수 게산
qexp(1-0.9, labm)

Percentile

> # 누적확률이 1-0.9인 분위수 게산(percentile)
> qexp(1-0.9, lamb)
## [1] 1053.605

EXAMPLE 33. 지수수명분포를 다르는 시스템에 대하여 10,000 시간까지 작동할 확률이 90%이상이길 요구한다면, $\lambda$는 얼마 이하여야 하는가?

[ Solution ]

$P(X>10,000) = e^{-10,000 \lambda} \ge 0.9$ 가 되어야 하므로,

$\lambda \le - \frac{ln 0.9}{10,000} = 1.054 * 10^{-5} (/ 시간)$

R Source

library(Rstat)

# 해를 구하는 함수 정의
lamb <- function(r) pexp(10000, r, lower=F) - 0.9

# 함수 값이 0이 되는 해 찾기 : uniroot(), 범위 0~1, 오차한계 1E-10
uniroot(lamb, c(0,1), tol=1E-10)[[1]]

Result

> # 해를 구하는 함수 정의
> lamb <- function(r) pexp(10000, r, lower=F) - 0.9
> 
> # 함수 값이 0이 되는 해 찾기 : uniroot(), 범위 0~1, 오차한계 1E-10
> uniroot(lamb, c(0,1), tol=1E-10)[[1]]
## [1] 1.053605e-05

3. Poisson Distribution and Exponential Distribution

이 지수 분포는 '포아송 분포'와 매우 깊은 연관이 있다.

포아송 분포에서 '모수($λ$)'는 '단위 시간 동안 평균 발생횟수'를 의미합니다. 따라서 '포아송 분포'는 단위 시간 혹은 단위 공간 안에서 발생하는 어떤 사건의 횟수를 확률변수로 하는 확률분포입니다. 포아송 분포에서 모수($λ$)는 매우 중요한 변수가 되는 것이죠.

이제 관점을 조금 바꿔서 어떤 사건이 처음으로 발생하기까지 걸린 시간을 확률변수 $t$ 로 해보자. 그리고 $t$시간 내 사건이 발생하는 빈도수를 확률변수로 할 때, $t$ 시간 내에 처음으로 사건이 발생하기 전까지 확률변수는 0이 되겠죠. 그리고 $t$시간 동안 평균발생빈도수는 ($λt$)가 된다. 이것을 포아송 분포의 확률질량함수(Probability Mass Function)로 나타내보자.

$f(0; \lambda t) = \frac{e^{-\lambda t} (\lambda t)^0 }{0!} = e^{-\lambda t}$

어떤 사건이 처음 발생하기까지 걸린 시간을 확률변수 $X$ 라 하고, 이 확률변수 $X$가 시간 $t$를 초과하는 것은 다음과 같이 나타낼 수 있다.

$P(X > t) = e^{-\lambda t}$

여기서 확률변수 $X$에 대한 누적분포함수는 다음과 같다.

$P(0 \le X \le t) = F(t) = 1- e^{-\lambda t}$

누적분포함수를 미분하면 확률질량함수가 되므로 다음과 같이 변형시킬 수 있다.

$\frac{d F(t)}{dt} =\frac{d}{dt} (1- e^{-\lambda t}) \Rightarrow f(t) = \lambda e^{-\lambda t}$ .

즉, $\lambda (= \frac {1} {\theta})$ 인 '지수분포'가 된다.

이 식의 의미는 모수가 ($λt$)인 포아송 분포에서 연속적으로 발생하는 두 사건 사이의 경과시간을 확률변수 $X$로 했을 때, 이 확률변수 $X$는 지수분포를 따른다는 것을 보여준다. 그리고 이것을 '포아송 과정(Poisson Process)'을 따른다고 표현한다.

아래는 $λ$에 따른 지수 분포의 그래프를 보여준다.

위 그림을 보면 확률변수 $X$가 커질수록 그 확률은 점점 작아짐을 알 수 있습니다. 즉, 시간이 흐를 수록 생명체가 살아있을 확률이 감소하고, 전자 제품이 시간이 흐를수록 고장나지 않을 확률이 작아지는 것을 지수분포로 표현할 수 있는 것이다.

EXAMPLE 34. 고장횟수가 포아송 분포를 따르는 어떤 기계는 1개월에 평균 3번 고장이 난다. 이 기계가 고장이 나서 고친 후 2개월 내에는 다시 고장나지 않을 확률을 구하라.

[ Solution ]

고장날 때까지의 시간을 $X$개월이라고 하면, $X$는 지수분포를 따른다. 1개월에 평균 3번 고장이 나므로, $\lambda t = (1) (3) = 3$ 이 된다.

확률밀도함수 : $f(x) = 3 e ^ {-3x}$ 누적분포함수 : $F(x) = 1- e^{-3 x}$

따라서, $P(X \ge 2) = 1 - P(X \le 2)$ $= 1 - F(2) = 1 - (1- e^{-6}) = e^{-6} \approx 0.0025$

4. Exponential Distribution and Geometric Distribution

지수 분포의 그래프를 보면 알 수 있듯이 확률변수 $X$가 증가할수록 그 발생확률은 작아진다.

기하 분포는 첫 번째 성공이 나타나기 전까지 시행횟수를 확률변수 $X$로 하는 확률분포이다.

기하 분포에서 베르누이 시행 횟수 $n$ 이 많아지고, 성공 확률 $p$ 가 작다면 기하 분포는 지수 분포에 수렴한다. 즉 기하 분포의 극한값은 지수 분포가 되는 것이다.

이것은 직관적으로 생각할 수 있다.

기하 분포의 성공 확률 $p$가 낮을수록, 그 만큼 실패횟수는 증가한니다. 이 실패횟수를 확률변수 $X$라 두면, 이것은 마치 지수분포의 두 사건 사이의 경과시간을 확률변수로 둔 것과 의미가 같아진다. 즉 '기하분포의 실패횟수'는 근사적으로 '지수분포의 경과시간'과 비슷해지는 것이다. 따라서 다음과 같은 관계가 성립한다.

지금까지 우리가 배웠던 확률분포의 관계를 종합해보면 다음과 같다.