乐思数学通 › 考研数学(一) › 第 20 章 数理统计的基本概念

总体、样本与统计量

§20.1 · 核心概念🌱 基础篇 →

考频价值

0.07 分/卷近 11 年平均
1/11 年出现年份
2.9 分支撑的下游价值

前置诊断

① 直接前置(需先掌握)随机变量与分布函数随机变量的独立性数学期望③ 掌握后可解锁三大抽样分布(χ²、t、F)正态总体样本均值与方差的分布矩估计最大似然估计区间估计

要点精讲

把关键道理、证明与典型例子重新过一遍。

1. 总体、简单随机样本与统计量的定义:、、、 四大定义式★★ 必会

① 总体与样本:总体是研究对象的全体,用一个随机变量 及其分布来代表;所谓总体服从某个分布,就是指 服从这个分布。从总体中抽取的 称为容量为 的样本。

② 简单随机样本:它满足两个条件,即独立( 相互独立)且同分布(每个 都与总体 同分布),二者合称 i.i.d.。于是样本的联合分布可以连乘:联合分布函数为 ,连续型总体的联合密度为 。这一可连乘的性质是似然函数(§21.2)、极值分布等一切样本计算的出发点。

③ 统计量:样本的函数 中不含任何未知参数者称为统计量。统计量本身是随机变量;把观测值 代入,就得到它的观测值。判别的依据只有一条,即是否含有未知参数:如果 未知,那么 不是统计量;如果 已知,它就是统计量。

④ 四个应当熟记的统计量的定义式:
- 样本均值 ;
- 样本方差 (分母是 ),样本标准差 ;
- 样本 阶(原点)矩 ();
- 样本 阶中心矩 (注意 )。

常用的展开式为 。对任意总体(,)恒有
证明 / 推导证 先推导 与 ,这里只用到 i.i.d. 这一条件。由期望的线性性,

求方差时,一处用到独立性(独立才能相加),一处用到同分布:

可见样本均值的中心不变,而波动缩小为原来的 。这就是统计推断的精度随 增大而提高的根本原因。

展开式:。( 的推导见下一条,那里说明了 的来历。)
举例说明真题(2021·数一 第 9 题,选择 5 分). 设 为来自二维正态总体 的简单随机样本,,,则(  )

(A) 是 的无偏估计,
(B) 不是 的无偏估计,
(C) 是 的无偏估计,
(D) 不是 的无偏估计,

解. 只由样本构成,不含未知参数,因此是统计量。由 、 得 ,所以它是无偏的。求方差时必须注意:同一对中的 与 是相关的(相关系数为 ),而不同对之间相互独立,故


必须注意:如果直接用 而漏掉协方差项,就会误得 。简单随机样本所保证的是对与对之间相互独立,并不消除同一对之内的相关性。(答案选 C。)

2. 由 使平方和最小说明 的来历★ 要懂

样本方差 为什么要除以 ?教材大多由无偏性的结果反推,其实还有一个更直观的几何解释:样本均值 就是使偏差平方和 达到最小的那个 。既然 是最贴合这批数据的中心,那么用它算出的平方和必然比用真正的中心 算出的要小,而小掉的那一部分恰好相当于一个自由度。把这一部分补回来,即把分母由 改成 , 才是无偏的。

这也说明了自由度这个名称的来由: 个偏差 受一个恒等式 的约束,真正能自由变动的只有 个。
证明 / 推导证 由最小化恒等式导出 。 对任意常数 ,有

其中交叉项 。上式在 时取最小值,这正说明 使平方和达到最小。

现在取 ,并对两边求期望。左边为 ;右边最后一项为 。于是

两边除以 ,即得 。用 代替 ,恰好少算了 ,也就是一个自由度。这就是 的来历。

3. 最大值、最小值也是统计量:次序统计量的分布★ 要懂

统计量不止 、 这几个。样本的最大值 与最小值 也是统计量,因为它们不含未知参数,可以直接算出,通常称为次序统计量。这类统计量在考研中出现得很多,例如求 的分布与期望,或者作极值型参数的估计,因此必须会推导它们的分布。

这里所用的条件是独立性:最大值 等价于每一个都 ,由独立性就能把联合概率化为连乘。由此得到简洁的公式

其中 是总体的分布函数,求导即得密度。
证明 / 推导证 推导极值分布,其中要用到独立同分布。 设 独立同分布,分布函数 、密度 。

先求最大值的分布:


再求最小值的分布,转化为对立事件来算更为方便:

举例说明例。 设 是取自均匀总体 的简单随机样本,求最大值 的密度与期望。

解. 对总体 ,当 时 ,。由上式, 时

于是

可见 的平均值略小于 ,这是因为样本最大值总不超过 ;且当 时 。这也就是用 作 的无偏估计的由来。

4. 样本为什么能推断总体:样本矩收敛于总体矩,经验分布收敛于总体分布

用样本推断总体的依据是什么?根据在于大数定律。下面两条由样本 总体的收敛最为重要:

(i)样本矩 总体矩:。这就是矩估计法成立的根据:用可以算出的样本矩去代替未知的总体矩,样本容量越大,代替得越准确。

(ii)经验分布函数 总体分布函数:定义 ,即落在 左侧的样本所占的比例,则对每个固定的 都有 。这说明,样本能够把总体的整个分布刻画出来(格里汶科定理进一步保证这种逼近关于 是一致的)。这两条合起来,就是由部分推断整体的理论根据。
x1F(x)Fₙ(x)① n = 6:台阶少而高,每级跳 1/6x1F(x)Fₙ(x)② n = 30:台阶密而矮,每级只跳 1/30每遇到一个样本点就上跳 1/n;n 越大,阶梯越密,整条越贴近 F
证明 / 推导证 验证 是 的无偏、相合估计。 固定 。令指示变量 ,则 独立同分布,都服从两点分布,且 。故

于是

方差随 按 ,再由大数定律得 。这就严格地说明了样本比例逼近真实的概率。

5. 与残差 不相关:它是 与 独立的先导结论

有一个看起来应当相关、其实并不相关的重要结论:样本均值 与每个残差 都不相关,即 ,它对任意总体都成立,只要方差存在。这一结论是理解 与 之间关系的先导,因为 完全由残差 构成。

这里要强调两点:(1)不相关对任意总体都成立,只用到独立同分布;(2)但由不相关一般推不出独立。只有当总体服从正态分布时,这种不相关才加强为真正的相互独立,即 与 相互独立。这是正态总体所特有的,也是下一节构造 统计量的依据。先弄清这一条,正态总体下的相应结论才容易理解。
证明 / 推导证 下面证明 。设 ,各 独立同分布。先求 :

其中当 时由独立性知协方差为 ,只剩下 的一项。又 。于是

因 是残差的函数,所以 与所有残差都不相关这一结论,就是正态总体下 与 相互独立在线性关系上的根据。
💡 小知识
样本方差除以 而不是除以样本量,这一做法称为贝塞尔校正。可以这样理解:当你用样本均值 代替真实的 时, 本身就是最贴合这批数据的那个中心,偏差平方和因此天然偏小;把分母从 减到 ,正好补回被数据消耗掉的那一个自由度。

基础例题

从最基础开始,循序渐进;先独立尝试,再展开完整解答。

例 1 设 是取自正态总体 的简单随机样本,其中 已知、 未知。判断下列各量哪些是统计量:;;;。 难度 1判断标准只有一条:统计量是样本的函数,且不含任何未知参数。本题 已知、(即 )未知。

:只由样本构成,不含参数,是统计量。
:含 ,但 已知(不是未知参数),故是统计量。
:含未知参数 ,不是统计量。
:只由样本构成,是统计量。

所以 是统计量, 不是。
例 2 设总体 的期望 、方差 , 是取自 的简单随机样本,。求 与 。 难度 1对任意总体(只要样本独立同分布),有两个必记结论:

代入 ,,:

其中 用到了样本的相互独立性。
例 3 从某总体中抽得一组样本观测值为 。求样本均值 与样本方差 (样本方差分母取 )。 难度 2样本容量 。

样本均值:

偏差平方和:

样本方差(除以 ):

注意分母是 (无偏),不是 。

真题精选

近年原题,先做做看、自动判分,再对照答案、思路与完整解答。

2021 年 · 数一 · 第 9 题 · 选择题 · 5 分

设 为来自总体 的简单随机样本,令 ,,,,则(  )
  • A 是 的无偏估计,
  • B 不是 的无偏估计,
  • C 是 的无偏估计,
  • D 不是 的无偏估计,

2003 年 · 数一 · 第 22 题 · 解答题 · 8 分

设总体 的概率密度为

其中 是未知参数. 从总体 中抽取简单随机样本 ,记 .
(1) 求总体 的分布函数 ;
(2) 求统计量 的分布函数 ;
(3) 如果用 作为 的估计量,讨论它是否具有无偏性.

随堂练习

先用基础题热身,再按年份从新到旧挑战本知识点的其余真题。

练习 1 · 选择题

设 是取自正态总体 的样本, 均未知。下列各量中不是统计量的是( )。
  • A
  • B
  • C
  • D

练习 2 · 填空题

设总体方差 ,样本容量 , 为样本均值,则 ____。

练习 3 · 选择题

已知一组样本观测值为 。其样本方差 (分母取 )等于( )。
  • A
  • B
  • C
  • D

练习 4 · 填空题

设总体 的期望 、方差 , 为简单随机样本, 为样本方差,则 ____。

练习 5 · 选择题

设总体方差为 , 为简单随机样本, 为样本均值。则 ( )。
  • A
  • B
  • C
  • D

练习 6 · 选择题

设 ()是取自正态总体 的简单随机样本, 与 分别为样本均值与样本方差( 的分母取 )。下列结论中错误的是( )。
  • A
  • B
  • C 与 相互独立
  • D

练习 7 · 填空题

设 是取自总体 的简单随机样本,,,则 ____。

练习 8 · 解答题

设总体 的概率密度为

其中 为未知参数。 是取自该总体的简单随机样本, 与 分别为样本均值与样本方差(分母取 )。
(1)求 与 ;
(2)求 、 与 ;
(3)求常数 ,使统计量 满足 ,并求 。