全概率公式与贝叶斯公式

① 完备事件组（$\Omega$ 的划分）：如果事件组 $B_1,B_2,\dots ,B_n$ 满足 (i) 两两互不相容，即 $B_i{B}_j=\varnothing (i\ne j)$；(ii) 完备性，即 $B_1\cup B_2\cup \cdots \cup B_n=\Omega$，并且各 $P(B_i)>0$，那么称它为一个完备事件组，也称为一个划分。最简单的划分是 $\{B,\bar{B}\}$。

② 全概率公式：设 $\{B_i{\}}_{i=1}^n$ 为完备事件组，则对任意事件 $A$ 有
$$P(A)=\sum _{i=1}^{n}P(B_i)P(A\mid B_i).$$
它的含义是由因求果：$A$ 可以经由 $n$ 条互不相容的途径 $B_i$ 而发生，总概率就是各条途径的条件概率以 $P(B_i)$ 为权的加权和。

③ 贝叶斯公式：条件同上，再设 $P(A)>0$，则对每个 $j$ 有
$$P(B_j\mid A)=\frac{P(B_j)P(A\mid B_j)}{\sum _{i=1}^{n}P(B_i)P(A\mid B_i)}.$$
它的含义是执果溯因：已经观察到结果 $A$，反过来推算它出自原因 $B_j$ 的概率。$P(B_j)$ 称为先验概率，即观察之前对各原因的估计；$P(B_j\mid A)$ 称为后验概率，即经证据 $A$ 修正以后的估计。公式的分子是由乘法公式给出的 $P(B_{j}A)$，分母恰好是由全概率公式给出的 $P(A)$。

④ 两个公式的用法：如果问的是结果发生的概率，用全概率公式；如果已知结果而问某个原因的概率，用贝叶斯公式。两者的第一步是相同的，都要选好划分 $\{B_i\}$，选取的方法见后面关于划分如何选取的一条。

当随机过程逐步进行，并且从某一状态出发的概率具有自相似的结构时，可以对第一步的结果使用全概率公式，从而得到关于未知概率的方程或递推关系，这种方法称为第一步分析法。做法是：设所求概率为 $p$，或设它依赖于起点而记为 $p_i$，再按第一步所落入的各种情形作为划分展开，
$$p=\sum _{j}P(\text{第一步到 }j)\cdot p_j,$$
然后解这个方程。这样就把无穷多步的问题化成了有限的方程。

设罐中有 $a$ 只红球、$b$ 只白球，共 $N=a+b$ 只，不放回地逐只摸出。虽然第 $k$ 次能否摸到红球在条件上依赖于前面的结果，但它的无条件概率恒为 $\frac{a}{N}$，与 $k$ 无关。这一结论既可以用全概率公式作归纳证明，也可以由 $N$ 只球的随机排列中红球等可能地占据每个位置直接看出，它与抽签的公平性出于同一道理。利用它可以很快求出第 $k$ 次取到某一类球的概率，免去繁复的条件展开。

用全概率公式与贝叶斯公式解题，首先要看划分 $\{B_i\}$ 选得是否恰当。选取时应遵循三条：① $B_i$ 应对应最自然的第一步随机因素，或最能决定 $P(A\mid B_i)$ 的那种分类，例如出自哪台机器、取自哪个盒子、第一次抽到的是什么；② 在每个 $B_i$ 之下 $P(A\mid B_i)$ 要便于计算，也就是给出条件以后 $A$ 就变得简单；③ 它们必须互不相容而且完备。同一道题换一个划分，难易程度可能相差很大。