> For the complete documentation index, see [llms.txt](https://kmis.gitbook.io/statistics/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://kmis.gitbook.io/statistics/chapter-3.-basic-concepts-of-probability/3-4.-bayes-theorem.md).

# 3-4. Bayes' Theorem

贝叶斯定理

베이즈 정리는 조건부 확률을 직접 계산하기 어려울 때, 조건이 되는 사상을 상호배반 사상들로 분할하여 간접적으로 계산하기 위한 공식이다.

> **전확률 정리 (Theorem of Total Probability)**
>
> 표본공간 $$S$$ 를 상호배반(mutually exclusive)인 사상 $$A\_1, A\_2, ..., A\_k$$ 로 분할하였을 때, $$S$$ 의 임의의 사상 $$E$$ 에 대하여 아래의 식이 성립한다.
>
> $$P(E) = \Sigma P(A\_i ∩E) = \Sigma P(A\_i)P(E|A\_i)$$ 

다음의 그림으로부터 사상 E를 다음과 같이 나타낼 수 있다.

 [![](https://mblogthumb-phinf.pstatic.net/MjAxOTAyMDRfNDcg/MDAxNTQ5MjU0OTY5MjU5.IDWt-gpXIhxH71g-haUHKWbL6LroArGiINmhiC8u8vAg.srX7EYx8ei1BwzHVyKM_HHFZ3fJHkdVx6o2pXMZRBKYg.PNG.pmw9440/6.0_%EB%B2%A0%EC%9D%B4%EC%A7%80%EC%95%881.png?type=w800)](https://m.blog.naver.com/PostView.nhn?blogId=pmw9440\&logNo=221457806799\&categoryNo=7\&proxyReferer=https%3A%2F%2Fwww.google.com%2F#)

* $$P(E) = P(E∩A\_1) ∪  P(E∩A\_2) ∪P(E∩A\_3) ∪...  ∪P(E∩A\_k)= \Sigma P(A\_i)P(E|A\_i)$$ 
* $$P(E∩A\_i) = P(A\_i∩E) = P(A\_i)P(E|A\_i)$$  

**EXAMPLE 32.** 한 제품을 생산하는 공정은 네 개의 생산라인을 가동하고 있다. 각 생산라인별 생산비용과 불량률은 다음의 표와 같다. 이 공정에서 생산된 제품을 한 개 랜덤 샘플링했을 때 불량일 확률을 구하라.

| **생산라인** | A    | B    | C    | D    |
| -------- | ---- | ---- | ---- | ---- |
| 생산비율     | 20%  | 40%  | 30%  | 10%  |
| 불량률(F)   | 0.04 | 0.02 | 0.01 | 0.05 |

**\[ Solution ]**

제품이 각 생산라인에서 생산된 사상을 A, B, C, D라 하자. \
\=> $$P(A)=0.2, P(B) = 0.4, P(C)=0.3, P(D)=0.1$$ 

불량인 사상을 F라 하자. \
\=> $$P(F|A) = 0.04, P(F|B)=0.02, P(F|C)=0.01, P(F|D)=0.05$$ 

$$S  = A ∪B∪C∪D$$이고, A, B, C, D는 상호배반(mutually exclusive) 사상이다.

$$P(F) = P(F∩A) + P(F∩B) + P(F∩C) + P(F∩D)$$ \
             $$=P(A)P(F|A) + P(B)P(F|B) + P(C)P(F|C) + P(D)P(F|D)$$ \
             $$= 0.2*0.04 +0.4*0.02 + 0.3 \* 0.01 + 0.1\*0.05 = 0.024$$ 

{% tabs %}
{% tab title="R Source" %}

```
# production ratio
prior <- c(0.2, 0.4, 0.3, 0.1)

# fault ratio
cond <- c(4, 2, 1, 5) /100

# P(F)
tot <- prior * cond; tot
sum(tot)
```

{% endtab %}

{% tab title="Result" %}

```
> # production ratio
> prior <- c(0.2, 0.4, 0.3, 0.1)
> 
> # fault ratio
> cond <- c(4, 2, 1, 5) /100
> 
> # P(F)
> tot <- prior * cond; tot
## [1] 0.008 0.008 0.003 0.005
> sum(tot)
## [1] 0.024
```

* $$P(F)=0.024$$&#x20;
  {% endtab %}
  {% endtabs %}

베이즈 정리는 특정 사상 E가 관측되기 이전의 확률로부터 사상 E가 관측된 후의 조건부 확률을 구하기 위한 것이다. 여기서 특정 사상  E가 관측되기 이전의 확률 $$P(A\_r)$$ 을 **사전확률(prior)**&#xC774;라 하고, 사상 E가 관측된 후의 조건부 확률 $$P(A\_r|E)$$를 **사후확률(posterior)**&#xC774;라 한다.

> **베이스 정리(Bayes Theorem)**
>
> 표본공간 $$S$$ 를 공사상이 아닌 (즉,  $$P(A\_i) \ne 0, i=1, 2,...,k$$ ) 사상 $$A\_1, A\_2,..., A\_k$$ 들로 분할하면, 공사상이 아닌 (즉, $$P(E) \ne 0$$) 임의의 사상 $$E$$ 에 대하여 아래의 식이 성립한다.
>
> $$P(A\_r|E) = \frac {P(A\_r∩ E)} {\Sigma P(A\_i ∩E)} = \frac{P(A\_r)P(E|A\_r)}{\Sigma P(A\_i)P(E|A\_i)}$$&#x20;

조건부 확률 $$P(A\_r | E) = \frac {P(A\_r∩E)} {P(E)}$$ 이므로, 분모 $$P(E)$$ 에 전확률 정리를 적용하고, 분자에 곱의 법칙을 적용하면 위의 식을 얻게 된다.

**EXAMPLE 33.** Example 32. 에서 불량품이 하나 나왔을 때, 생산라인 $$A, B, C, D$$ 에서 생산되었을 확률을 각각 구하시오.

**\[ Solution ]**

$$P(A|F) = \frac {P(A∩F)}{P(F)} = \frac{0.2 \* 0.04}{0.024} = 0.333$$&#x20;

$$P(B|F) = \frac {P(B∩F)}{P(F)}= \frac{0.4 \* 0.02}{0.024} = 0.333$$

$$P(C|F) = \frac {P(C∩F)}{P(F)}= \frac{0.3 \* 0.01}{0.024} = 0.125$$

$$P(D|F) = \frac {P(D∩F)}{P(F)}= \frac{0.21\* 0.05}{0.024}= 0.2083$$

{% tabs %}
{% tab title="R Source" %}

```
library(Rstat)

# production ratio
prior <- c(0.2, 0.4, 0.3, 0.1)

# fault ratio
cond <- c(4, 2, 1, 5) /100

# P(F)
tot <- prior * cond; tot
stot <- sum(tot); stot

# P(A|F), P(B|F), P(C|F), p(D|F)
post <- tot /stot; post

# Draw the plot
bayes.plot(prior, post)

```

{% endtab %}

{% tab title="Result" %}

```
> tot <- prior * cond; tot
## [1] 0.008 0.008 0.003 0.005
> stot <- sum(tot); stot
## [1] 0.024
> 
> # P(A|F), P(B|F), P(C|F), p(D|F)
> post <- tot /stot; post
## [1] 0.3333333 0.3333333 0.1250000 0.2083333

```

{% endtab %}

{% tab title="Plot" %}
![](https://2234305379-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-Lqmt1Wp54aKlZ5eVcaS%2F-M-la_VneqruuT2I1s0g%2F-M-mDFx11qVFl2-jVLvZ%2Fimage.png?alt=media\&token=95f688ef-3a0d-44a2-abb1-4b01ceb8225c)
{% endtab %}
{% endtabs %}

3-4 贝叶斯定理(Bayes' Theorem)

* 全概率公式(Law of total probability)
* 先验概率(Prior probability)
* 后验概率(Posterior probability)