3-4. Bayes' Theorem

贝叶斯定理

베이즈 정리는 조건부 확률을 직접 계산하기 어려울 때, 조건이 되는 사상을 상호배반 사상들로 분할하여 간접적으로 계산하기 위한 공식이다.

전확률 정리 (Theorem of Total Probability)

표본공간 $S$ 를 상호배반(mutually exclusive)인 사상 $A_1, A_2, ..., A_k$ 로 분할하였을 때, $S$ 의 임의의 사상 $E$ 에 대하여 아래의 식이 성립한다.

$P(E) = \Sigma P(A_i ∩E) = \Sigma P(A_i)P(E|A_i)$

다음의 그림으로부터 사상 E를 다음과 같이 나타낼 수 있다.

• $P(E) = P(E∩A_1) ∪ P(E∩A_2) ∪P(E∩A_3) ∪... ∪P(E∩A_k)= \Sigma P(A_i)P(E|A_i)$

• $P(E∩A_i) = P(A_i∩E) = P(A_i)P(E|A_i)$

EXAMPLE 32. 한 제품을 생산하는 공정은 네 개의 생산라인을 가동하고 있다. 각 생산라인별 생산비용과 불량률은 다음의 표와 같다. 이 공정에서 생산된 제품을 한 개 랜덤 샘플링했을 때 불량일 확률을 구하라.

생산라인	A	B	C	D
생산비율	20%	40%	30%	10%
불량률(F)	0.04	0.02	0.01	0.05

[ Solution ]

제품이 각 생산라인에서 생산된 사상을 A, B, C, D라 하자. => $P(A)=0.2, P(B) = 0.4, P(C)=0.3, P(D)=0.1$

불량인 사상을 F라 하자. => $P(F|A) = 0.04, P(F|B)=0.02, P(F|C)=0.01, P(F|D)=0.05$

$S = A ∪B∪C∪D$이고, A, B, C, D는 상호배반(mutually exclusive) 사상이다.

$P(F) = P(F∩A) + P(F∩B) + P(F∩C) + P(F∩D)$ $=P(A)P(F|A) + P(B)P(F|B) + P(C)P(F|C) + P(D)P(F|D)$ $= 0.2*0.04 +0.4*0.02 + 0.3 * 0.01 + 0.1*0.05 = 0.024$

R Source

# production ratio
prior <- c(0.2, 0.4, 0.3, 0.1)

# fault ratio
cond <- c(4, 2, 1, 5) /100

# P(F)
tot <- prior * cond; tot
sum(tot)

Result

> # production ratio
> prior <- c(0.2, 0.4, 0.3, 0.1)
> 
> # fault ratio
> cond <- c(4, 2, 1, 5) /100
> 
> # P(F)
> tot <- prior * cond; tot
## [1] 0.008 0.008 0.003 0.005
> sum(tot)
## [1] 0.024

• $P(F)=0.024$

베이즈 정리는 특정 사상 E가 관측되기 이전의 확률로부터 사상 E가 관측된 후의 조건부 확률을 구하기 위한 것이다. 여기서 특정 사상 E가 관측되기 이전의 확률 $P(A_r)$ 을 사전확률(prior)이라 하고, 사상 E가 관측된 후의 조건부 확률 $P(A_r|E)$를 사후확률(posterior)이라 한다.

베이스 정리(Bayes Theorem)

표본공간 $S$ 를 공사상이 아닌 (즉, $P(A_i) \ne 0, i=1, 2,...,k$ ) 사상 $A_1, A_2,..., A_k$ 들로 분할하면, 공사상이 아닌 (즉, $P(E) \ne 0$) 임의의 사상 $E$ 에 대하여 아래의 식이 성립한다.

$P(A_r|E) = \frac {P(A_r∩ E)} {\Sigma P(A_i ∩E)} = \frac{P(A_r)P(E|A_r)}{\Sigma P(A_i)P(E|A_i)}$

조건부 확률 $P(A_r | E) = \frac {P(A_r∩E)} {P(E)}$ 이므로, 분모 $P(E)$ 에 전확률 정리를 적용하고, 분자에 곱의 법칙을 적용하면 위의 식을 얻게 된다.

EXAMPLE 33. Example 32. 에서 불량품이 하나 나왔을 때, 생산라인 $A, B, C, D$ 에서 생산되었을 확률을 각각 구하시오.

[ Solution ]

$P(A|F) = \frac {P(A∩F)}{P(F)} = \frac{0.2 * 0.04}{0.024} = 0.333$

$P(B|F) = \frac {P(B∩F)}{P(F)}= \frac{0.4 * 0.02}{0.024} = 0.333$

$P(C|F) = \frac {P(C∩F)}{P(F)}= \frac{0.3 * 0.01}{0.024} = 0.125$

$P(D|F) = \frac {P(D∩F)}{P(F)}= \frac{0.21* 0.05}{0.024}= 0.2083$

R Source

library(Rstat)

# production ratio
prior <- c(0.2, 0.4, 0.3, 0.1)

# fault ratio
cond <- c(4, 2, 1, 5) /100

# P(F)
tot <- prior * cond; tot
stot <- sum(tot); stot

# P(A|F), P(B|F), P(C|F), p(D|F)
post <- tot /stot; post

# Draw the plot
bayes.plot(prior, post)

Result

> tot <- prior * cond; tot
## [1] 0.008 0.008 0.003 0.005
> stot <- sum(tot); stot
## [1] 0.024
> 
> # P(A|F), P(B|F), P(C|F), p(D|F)
> post <- tot /stot; post
## [1] 0.3333333 0.3333333 0.1250000 0.2083333

Plot

3-4 贝叶斯定理(Bayes' Theorem)

• 全概率公式(Law of total probability)

• 先验概率(Prior probability)

• 后验概率(Posterior probability)