大数定律

定义（依概率收敛）：设 $Y_1,Y_2,\dots$ 为随机变量序列，$a$ 为常数。如果对任意 $\epsilon >0$ 都有
$$\underset{n\to \infty }{\lim }P\{|Y_n-a|\ge \epsilon \}=0(\text{等价地}\underset{n\to \infty }{\lim }P\{|Y_n-a|<\epsilon \}=1),$$
则称 $Y_n$ 依概率收敛于 $a$，记 $Y_n\stackrel{P}{\to }a$。应当注意，这里说的是偏差超过任一给定界限 $\epsilon$ 的概率趋于零，并不是说每次取值都必然接近 $a$；大的偏差仍然可能出现，只是越来越少见。

三个大数定律的正式陈述（结论都是平均值 $\stackrel{P}{\to }$ 期望）：
① 切比雪夫大数定律：$X_1,X_2,\dots$ 相互独立（两两不相关即可），期望、方差均存在，且方差一致有界，即存在常数 $C$ 使 $D(X_i)\le C$ 对一切 $i$ 成立，那么
$$\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\stackrel{P}{\to }0.$$
② 伯努利大数定律：设 $n_A$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p=P(A)$，则频率
$$\frac{n_A}{n}\stackrel{P}{\to }p$$
这就是频率稳定于概率的严格表述，也是用频率近似概率的理论依据。
③ 辛钦大数定律：$X_1,X_2,\dots$ 独立同分布，且期望存在 $E(X_i)=\mu$（方差可以不存在），则
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\mu .$$

条件的对照：切比雪夫大数定律不要求同分布，但要求方差一致有界；辛钦大数定律要求独立同分布，但只需期望存在（它的长处见后面一条）；伯努利大数定律是二者共同的特例，因为 0-1 变量既同分布，方差 $p(1-p)\le \frac{1}{4}$ 又自动一致有界。判断哪一个定律适用时，按独立性、同分布、矩条件这三项逐一核对即可。

依概率收敛$Y_n\stackrel{P}{\to }a$ 看起来抽象，但它与普通极限一样服从运算法则，这在解题时很有用。其中最重要的是连续映射定理：如果 $Y_n\stackrel{P}{\to }a$，且 $g$ 在点 $a$ 处连续，那么 $g(Y_n)\stackrel{P}{\to }g(a)$。此外还有四则运算法则：当 $X_n\stackrel{P}{\to }a,Y_n\stackrel{P}{\to }b$ 时，$X_n\pm Y_n\stackrel{P}{\to }a\pm b$、$X_n{Y}_n\stackrel{P}{\to }ab$，且当 $b\ne 0$ 时 $\frac{X_n}{Y_n}\stackrel{P}{\to }\frac{a}{b}$。

有了这些法则，许多求依概率极限的问题就化为：先用大数定律求出各部分的极限，再按连续函数把它们合起来。例如由辛钦大数定律 $\bar{X}\stackrel{P}{\to }\mu$，立即得到 ${\bar{X}}^2\stackrel{P}{\to }{\mu }^2$、$e^{\bar{X}}\stackrel{P}{\to }{e}^{\mu }$。必须注意，这里的前提是 $g$ 在极限点处连续，在不连续点处不能使用。

辛钦大数定律最容易被忽视的一点是：它对独立同分布的序列只要求期望存在，而完全不要求方差存在。相比之下，用切比雪夫不等式证明的那个大数定律，必须假定方差存在且一致有界，因为它的证明依据就是方差 $/n\to 0$。因此在独立同分布的场合，辛钦大数定律的条件更弱。有一大类分布方差为无穷而期望有限，对它们切比雪夫大数定律无能为力，辛钦大数定律却仍然给出 $\bar{X}\stackrel{P}{\to }\mu$。

这也说明了教材为什么要把辛钦大数定律单独列出。它不能看作切比雪夫大数定律在同分布情形下的特例，因为它连方差存在都不要求。必须注意，两者的条件并不能互相包含。切比雪夫大数定律不要求同分布，辛钦大数定律则要求同分布。因此只有限于独立同分布的场合，才可以说辛钦大数定律适用的范围更宽。离开这个前提，两者的强弱无从比较。当然，如果连期望也不存在，例如柯西分布，那么两者都失效，样本均值根本不收敛。

大数定律与中心极限定理常被并列提出，但它们回答的是两个不同层次的问题，必须加以分清：

- 大数定律（一阶）：样本均值 $\bar{X}$ 收敛到一个常数 $\mu$，即 $\bar{X}-\mu \stackrel{P}{\to }0$。它只指出均值最终稳定于何处，收敛的类型是依概率收敛，所需条件较宽，辛钦大数定律只要求独立同分布且期望存在。
- 中心极限定理（二阶）：它考察 $\bar{X}$ 偏离 $\mu$ 的涨落形态。把这个越来越小的偏差放大 $\sqrt{n}$ 倍以后，$\sqrt{n}(\bar{X}-\mu )$ 收敛到一个分布 $N(0,{\sigma }^2)$，收敛的类型是依分布收敛，并且必须要求方差有限。

概括地说：大数定律给出样本均值的极限值，中心极限定理给出它在极限附近的涨落规律。 前者收敛到一个点，后者在标准化之后收敛到正态分布。

求 $\frac{1}{n}\sum g(X_i)$ 或更复杂的组合的依概率极限是常见题型，一般分两步进行：第一步，把各个 $g(X_i)$（或 $X_i^k$）看作一个新的独立同分布序列，由辛钦大数定律得 $\frac{1}{n}\sum g(X_i)\stackrel{P}{\to }E[g(X_1)]$；第二步，如果所求的量是若干这种平均值的连续函数（特别是比值），就用连续映射定理把各部分的极限合起来。比值型稍难一些：分子与分母各自用大数定律求极限，然后相除，只需保证分母的极限不为零。