Bayes Rule and Its Applications
A slecture by ECE student Weibao Wang
Partly based on the ECE662 Spring 2014 lecture material of Prof. Mireille Boutin.
贝叶斯定理 （Bayes' theorem）
贝叶斯定理由英国数学家托马斯·贝叶斯（Thomas Bayes）在1763提出，因此得名贝叶斯定理。贝叶斯定理也称贝叶斯推理，是关于随机事件的条件概率的一则定理。
对于两个随机事件A和B，贝叶斯定理有如下表达：
$ P(A|B) = \frac{P(B|A)P(A)}{P(B)} $
其中P(A|B)代表在事件B发生的情况下事件A发生的概率。
在贝叶斯定理中：
- P(A)为A的先验概率，P(B)为B的先验概率
- P(A|B)为已知B发生后A的条件概率或后验概率，P(B|A)为已知A发生后B的条件概率或后验概率
另外，P(B|A)有时也被称作相似度(likelihood)。
贝叶斯定理的推倒
根据条件概率的定义，在事件B发生的条件下事件A发生的概率是：
$ P(A|B) = \frac{P(A\cap B)}{P(B)} $
同理，我们可以得到在事件A发生的条件下事件B发生的概率：
$ P(B|A) = \frac{P(B\cap A)}{P(A)} $
由以上两个方程，我们可以得出：
$ P(B|A)P(A) = P(A\cap B) = P(A|B)P(B) $
等式两边同时除以P(B),进而得出贝叶斯定理：
$ P(A|B) = \frac{P(B|A)P(A)}{P(B)} $
我们来看一个例子： 假设我们有两个笼子，一号笼子里有15只鸡和5只兔子，二号笼子里有10只鸡和10只兔子。现在随机选择一个笼子，从中取出一只兔子，请问这只兔子来自一号笼子的概率有多大？
对于这类问题，我们可以用贝叶斯定理解答。我们假定，B1表示一号笼子，B2表示二号笼子。由于这两个笼子是一样的，所以P(B1)=P(B2)，也就是说，在取出兔子之前，这两个笼子被选中的概率相同。因此，P(B1)=P(B2)=0.5. 再假定，R表示兔子，所以问题就变成了在已知R的情况下，来自一号笼子的概率有多大，即求P(B1|E)。我们把这个概率叫做"后验概率"。
根据贝叶斯定理，我们可以得到：
$ P(B1|R) = \frac{P(R|B1)P(B1)}{P(R)} $
已知，P(B1)等于0.5，P(R|B1)为一号笼子中取出兔子的概率，等于0.25，那么求出P(R)就可以得到答案。根据全概率公式，
$ P(R) = P(R|B1)P(B1)+P(R|B2)P(B2) $
所以
$ P(R) = 0.25 \times 0.5 + 0.5 \times 0.5 = 0.375 $
Questions and comments
If you have any questions, comments, etc. please post them on this page.
