大数定律

概率论与数理统计 · 大数定律与中心极限定理

先打基础

一条一条过。读完点「已懂」或「待回顾」，这条就收起来，页面上剩下的就是还没过的。

1. 依概率收敛：偏离的概率趋于零

设

Y_{1}, Y_{2}, \dots

是一列随机变量，

a

是常数。若对任意

ε > 0

，

n \to \infty lim P {∣ Y_{n} - a ∣ \geq ε} = 0,

就说

Y_{n}

依概率收敛于

a

，记作

Y_{n} P a

。

和数列极限不一样：这里没有说「每一次试验都会靠近

a

」，
只说了「偏离超过

ε

这件事越来越不可能」。

Y_{n}

是随机变量，每做一次试验它取一个值；
收敛的是概率这个数，不是某一条取值的轨迹。

2. 切比雪夫大数定律：方差被 $n$ 压没了

设

X_{1}, X_{2}, \dots

相互独立，期望存在，且方差有共同的上界

C

，则

\frac{1}{n} i = 1 \sum n X_{i} - \frac{1}{n} i = 1 \sum n E (X_{i}) P 0.

最常用的是独立同分布的特例：若

E (X_{i}) = μ

、

D (X_{i}) = σ^{2}

，则

\overset{ˉ}{X} P μ .

一句话：样本均值依概率收敛到总体期望。

这就是「用样本均值估计总体期望」的理论依据，
也是下一章矩估计的出发点。

3. 伯努利与辛钦：两个最常引用的版本

伯努利大数定律：

n

重伯努利试验中事件

A

发生

n_{A}

次，

P (A) = p

，则

\frac{n _{A}}{n} P p .

频率依概率收敛到概率——这是「用频率估计概率」的依据。

辛钦大数定律：

X_{1}, X_{2}, \dots

独立同分布，只要期望

E (X_{i}) = μ

存在，则

\overset{ˉ}{X} P μ .

注意它不要求方差存在，条件比切比雪夫那条弱，
代价是必须同分布。考研题里引用得最多的就是这一条。

4. 怎么答这类题

大数定律的题几乎只有两种长相。

第一种：问某个平均依概率收敛到什么。
做法是找出「被平均的那个随机变量」

Y_{i}

，验证它独立同分布，
再算

E (Y_{i})

——答案就是它。

第二种：问该用哪条定律、条件够不够。
做法是对着条件表核：同分布吗？方差给了吗？独立吗？

三条都要求独立，这个前提任何版本都不能少。

写法上注意：结论要写成

P

或「依概率收敛于」，
不要写成普通的

lim

——那是两种不同的收敛。

常用结构

这类题反复出现的那个写法骨架——按这个顺序动笔。

问某个平均收敛到什么

第一步：认出被平均的随机变量，记作

Y_{i}

（可能是

X_{i}

、

X_{i}^{2}

、

g (X_{i})

）。

第二步：说明

Y_{1}, Y_{2}, \dots

仍然独立同分布。

第三步：算

E (Y_{i})

，这就是答案。

第四步：结论写成

P E (Y_{i})

，不要写成普通极限。

例例. 设

X_{1}, X_{2}, \dots

独立同分布、服从

U (0, 1)

。

\frac{1}{n} i = 1 \sum n X_{i}^{2}

依概率收敛到什么？

第一步，被平均的是

Y_{i} = X_{i}^{2}

。

第二步，

X_{i}

独立同分布

\Rightarrow

Y_{i} = X_{i}^{2}

仍然独立同分布 ✓ 这一句要写出来。

第三步，

E (Y_{i}) = E (X_{i}^{2}) = \int_{0}^{1} x^{2} d x = \frac{1}{3} .

第四步，结论写成

\frac{1}{n} i = 1 \sum n X_{i}^{2} P \frac{1}{3},

不要写成普通极限——左边是随机变量，收敛是依概率意义下的。

注意答案是

E (X^{2}) = \frac{1}{3}

而不是

[E (X)]^{2} = \frac{1}{4}

：被平均的是谁，极限就是谁的期望。

选用哪条大数定律

第一步：先确认相互独立——三条都要这个。

第二步：题面说「同分布」且期望存在

\Rightarrow

辛钦。

第三步：分布各异但方差有共同上界

\Rightarrow

切比雪夫。

第四步：被平均的是「事件发生的次数」

\Rightarrow

伯努利（频率收敛到概率）。

例例. 三种情形各用哪条大数定律？

第一步，三条都要求「相互独立」，先确认这一点。

第二步，「

X_{i}

独立同分布，

E (X_{i}) = μ

存在」

\Rightarrow

辛钦（最常用，不要求方差存在）。

第三步，「

X_{i}

相互独立但分布各异，方差有共同上界」

\Rightarrow

切比雪夫。

第四步，「

n

重伯努利试验，

n_{A}

是

A

发生的次数」

\Rightarrow

伯努利：

\frac{n _{A}}{n} P p,

即频率收敛到概率。

伯努利其实是辛钦的特例（被平均的是

0

1

指示变量），但考题常按名字问，分清名字能省时间。

直接验依概率收敛

第一步：算

E (Y_{n})

与

D (Y_{n})

。

第二步：对

Y_{n}

用切比雪夫，写出

P {∣ Y_{n} - a ∣ \geq ε}

的上界。

第三步：让

n \to \infty

，说明上界趋于

0

。

第四步：由夹逼与定义，断定

Y_{n} P a

。

例例. 设

X_{1}, \dots, X_{n}

独立同分布，

μ = 0

、

σ^{2} = 1

，验证

\overset{ˉ}{X} P 0

。

第一步，

E (\overset{ˉ}{X}) = 0

，

D (\overset{ˉ}{X}) = \frac{1}{n}

。

第二步，对

\overset{ˉ}{X}

用切比雪夫：对任意固定的

ε > 0

，

P {\overset{ˉ}{X} - 0 \geq ε} \leq \frac{1/ n}{ε ^{2}} = \frac{1}{n ε ^{2}} .

第三步，让

n \to \infty

，右端

\to 0

。

第四步，概率非负，由夹逼得

P {\overset{ˉ}{X} \geq ε} \to 0

，按定义

\overset{ˉ}{X} P 0

■

$ε$ 要先固定再让 $n \to \infty$ ——顺序反了（让

ε

也跟着动）就证不出来。

基础易错

基础阶段真的会犯的那几处，每条都指到动笔的哪一步。

把依概率收敛写成普通极限

\overset{ˉ}{X}

是随机变量，不是数列，

lim \overset{ˉ}{X}

没有定义。

结论要写

\overset{ˉ}{X} P μ

，或者把

lim

套在

P {\cdot}

外面。

这是阅卷必看的一处，写错等于没有理解结论说的是什么。

求 $\frac{1}{n} \sum X_{i}^{2}$ 的极限时算成 $μ^{2}$

对

{X_{i}^{2}}

用辛钦，得到的是

E (X^{2})

，不是

[E (X)]^{2}

。

两者差一个方差：

E (X^{2}) = μ^{2} + σ^{2}

。

换元之后要重新算期望，不能把老的期望套进去。

忘记「独立」这个前提

切比雪夫、伯努利、辛钦三条都要求相互独立。

不独立时方差不可加，证明的第一步就断了。

题面没说独立就不能用，这时候通常要另找办法。

以为大数定律保证了「一定会接近」

它保证的是偏离的概率趋于零，不是「从某次起永远不偏离」。

小概率事件仍然可能发生，只是概率小到可忽略。

这一条区分「依概率收敛」与「处处收敛」，答概念题时别说死。

自己试一试

这一档不判分、不记进度，想不出来就直接看解答。

第一组 · 认定义

练 1

独立同分布、期望为

μ

时，由辛钦大数定律

\overset{ˉ}{X}

依概率收敛于 ________。

练 2

Y_{n} P a

的定义是：对任意

ε > 0

（）。

A $P {∣ Y_{n} - a ∣ \geq ε} \to 0$
B $∣ Y_{n} - a ∣ \to 0$
C $E (Y_{n}) \to a$
D $D (Y_{n}) \to 0$

练 3

伯努利大数定律说：事件

A

的频率

\frac{n _{A}}{n}

依概率收敛于 ________。

练 4

三条大数定律共同要求的条件是（）。

A同分布
B方差存在
C服从正态分布
D相互独立

第二组 · 会换元

练 5

独立同分布，

E (X_{i}) = 1

、

D (X_{i}) = 2

，则

\frac{1}{n} \sum X_{i}^{2}

依概率收敛于 ________。

练 6

独立同分布且

X_{i} \sim U (0, 2)

，则

\frac{1}{n} \sum X_{i}^{3}

依概率收敛于 ________。

练 7

独立同分布，要用辛钦大数定律处理

\frac{1}{n} \sum e^{X_{i}}

，需要（）。

A $D (X_{i})$ 存在
B $X_{i}$ 服从正态
C $E (e^{X_{i}})$ 存在
D $X_{i} > 0$

练 8

独立同分布，

σ^{2} = 4

。用切比雪夫估计

P {∣ \overset{ˉ}{X} - μ ∣ \geq 0.2}

的上界（

n = 400

）为 ________。

第三组 · 分得清

练 9

设

X_{1}, X_{2}, \dots

相互独立但分布各异，方差一致有界。此时可用（）。

A辛钦大数定律
B都不能用
C伯努利大数定律
D切比雪夫大数定律

练 10

下列说法正确的是（）。

A大数定律保证从某次起 $\overset{ˉ}{X}$ 永远落在 $μ$ 附近
B大数定律只说偏离的概率趋于零
C大数定律说 $D (\overset{ˉ}{X}) = 0$
D大数定律要求 $X_{i}$ 服从正态

练 11

独立同分布且

E (X_{i}) = μ

存在，但

D (X_{i})

不存在。则（）。

A切比雪夫大数定律可用
B任何大数定律都不能用
C只能用伯努利
D辛钦大数定律可用， $\overset{ˉ}{X} P μ$

练 12

独立同分布，

E (X_{i}) = μ

、

D (X_{i}) = σ^{2}

。则

\frac{1}{n} \sum (X_{i} - μ)^{2}

依概率收敛于 ________。

读完了？下一步是同一个知识点的完整讲解，那一档按考试难度写。

数一 · 完整讲解数三 · 完整讲解大学版 · 完整讲解

大数定律

先打基础

1. 依概率收敛：偏离的概率趋于零

2. 切比雪夫大数定律：方差被 n 压没了

3. 伯努利与辛钦：两个最常引用的版本

4. 怎么答这类题

常用结构

问某个平均收敛到什么

选用哪条大数定律

直接验依概率收敛

基础易错

把依概率收敛写成普通极限

求 n1​∑Xi2​ 的极限时算成 μ2

忘记「独立」这个前提

以为大数定律保证了「一定会接近」

自己试一试

练 1

练 2

练 3

练 4

练 5

练 6

练 7

练 8

练 9

练 10

练 11

练 12

2. 切比雪夫大数定律：方差被 $n$ 压没了

求 $\frac{1}{n} \sum X_{i}^{2}$ 的极限时算成 $μ^{2}$