大数定律

定义（依概率收敛）：设 $Y_1,Y_2,\dots$ 为随机变量序列，$a$ 为常数。如果对任意 $\epsilon >0$ 都有
$$\underset{n\to \infty }{\lim }P\{|Y_n-a|\ge \epsilon \}=0(\text{等价地}\underset{n\to \infty }{\lim }P\{|Y_n-a|<\epsilon \}=1),$$
那么称 $Y_n$ 依概率收敛于 $a$，记作 $Y_n\stackrel{P}{\to }a$。它的含义是：偏差超过任何给定的界 $\epsilon$ 的概率趋于零，而不是说每一次取值都必然靠近 $a$，大的偏差仍可能出现，只是越来越少见。

三个大数定律的正式陈述（结论都是平均值 $\stackrel{P}{\to }$ 期望）：
① 切比雪夫大数定律：设 $X_1,X_2,\dots$ 相互独立（两两不相关即可），期望与方差均存在，且方差一致有界（存在常数 $C$ 使 $D(X_i)\le C$ 对一切 $i$ 成立），则
$$\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\stackrel{P}{\to }0.$$
② 伯努利大数定律：设 $n_A$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p=P(A)$，则频率
$$\frac{n_A}{n}\stackrel{P}{\to }p$$
这就是频率稳定于概率的严格表述，也是用频率近似代替概率的理论根据。
③ 辛钦大数定律：设 $X_1,X_2,\dots$ 独立同分布，且期望存在 $E(X_i)=\mu$（方差可以不存在），则
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\mu .$$

三者条件的对照：切比雪夫大数定律不要求同分布，但要求方差一致有界；辛钦大数定律要求独立同分布，但只要求期望存在，这一点后面还要专门讨论；伯努利大数定律是二者共同的特例，因为 0-1 变量既是同分布的，其方差 $p(1-p)\le \frac{1}{4}$ 又自动一致有界。判断某个定律是否适用时，只须按独立性、同分布、矩条件三项逐一核对。

依概率收敛 $Y_n\stackrel{P}{\to }a$ 看起来比较抽象，但它与普通极限一样服从运算法则，这在解题时很有用。其中最重要的是连续映射定理：如果 $Y_n\stackrel{P}{\to }a$，而 $g$ 在点 $a$ 处连续，那么 $g(Y_n)\stackrel{P}{\to }g(a)$。此外还有四则运算法则：当 $X_n\stackrel{P}{\to }a,Y_n\stackrel{P}{\to }b$ 时，有 $X_n\pm Y_n\stackrel{P}{\to }a\pm b$、$X_n{Y}_n\stackrel{P}{\to }ab$；并且当 $b\ne 0$ 时 $\frac{X_n}{Y_n}\stackrel{P}{\to }\frac{a}{b}$。

有了这些法则，许多求依概率极限的题目就化为：先用大数定律求出每一部分的极限，再按连续函数的运算把它们合起来。例如由辛钦大数定律 $\bar{X}\stackrel{P}{\to }\mu$，立即可得 ${\bar{X}}^2\stackrel{P}{\to }{\mu }^2$、$e^{\bar{X}}\stackrel{P}{\to }{e}^{\mu }$。必须注意，前提是 $g$ 在极限点处连续，在不连续点处不能使用。

辛钦大数定律有一点最容易被忽视：它对独立同分布序列只要求期望存在，并不要求方差存在。相比之下，用切比雪夫不等式证明的那个大数定律必须假定方差存在且一致有界，因为它的证明所依据的是方差 $/n\to 0$。所以在独立同分布的场合，辛钦大数定律的条件更弱。有一大类分布方差为无穷而期望有限，对它们切比雪夫形式的大数定律无法使用，而辛钦大数定律仍然给出 $\bar{X}\stackrel{P}{\to }\mu$。

由此可以明白，教材为什么要把辛钦大数定律单独列出。它不能看作切比雪夫大数定律在同分布情形下的特例，因为它连方差存在都不要求。必须注意，两者的条件并不能互相包含。切比雪夫大数定律不要求同分布，辛钦大数定律则要求同分布。因此只有限于独立同分布的场合，才可以说辛钦大数定律适用的范围更宽。离开这个前提，两者的强弱无从比较。（当然，如果连期望也不存在，例如柯西分布，那么两者都失效，样本均值根本不收敛。）

大数定律与中心极限定理常常并列提出，但它们回答的是两个不同层次的问题，必须分清楚。

- 大数定律（一阶）：样本均值 $\bar{X}$ 收敛到一个常数 $\mu$，即 $\bar{X}-\mu \stackrel{P}{\to }0$。它只说明均值最终稳定于何处，收敛的类型是依概率收敛，条件较宽（辛钦大数定律只要求独立同分布且期望存在）。
- 中心极限定理（二阶）：它所关心的是 $\bar{X}$ 偏离 $\mu$ 的涨落形状。把这个越来越小的偏差放大 $\sqrt{n}$ 倍，$\sqrt{n}(\bar{X}-\mu )$ 收敛到一个分布 $N(0,{\sigma }^2)$，收敛的类型是依分布收敛，而且必须方差有限。

简单地说：大数定律说明均值稳定于何处，中心极限定理说明均值的涨落服从什么分布。 前者收敛到一个点，后者在标准化以后收敛到正态分布。

求 $\frac{1}{n}\sum g(X_i)$ 或更复杂的组合的依概率极限，是常见的题型。一般方法分两步：第一步，把每个 $g(X_i)$（或 $X_i^k$）看成新的独立同分布序列，由辛钦大数定律得 $\frac{1}{n}\sum g(X_i)\stackrel{P}{\to }E[g(X_1)]$；第二步，如果所求的量是若干个这种平均值的连续函数（特别是它们的比），那么用连续映射定理把各部分的极限合起来。困难往往出在比的情形：分子与分母各自用大数定律求极限，再相除，只须保证分母的极限不为零。