乐思数学通 › 考研数学(一) › 第 21 章 参数估计

估计量的评价标准(无偏、有效、一致)

§21.3 · 核心概念🌱 基础篇 →

考频价值

2.56 分/卷近 11 年平均
6/11 年出现年份
2.6 分支撑的下游价值

前置诊断

① 直接前置(需先掌握)数学期望方差大数定律

要点精讲

把关键道理、证明与典型例子重新过一遍。

1. 评价估计量的三个标准:无偏性 、有效性(无偏估计中方差较小者较优)、相合性 ★★ 必会

设 是参数 的估计量。下述三个标准分别回答三个不同的问题。

① 无偏性,即平均而言没有系统偏差:如果

那么称 为 的无偏估计,并称 为偏差。以下是几个基本事实(对任何总体都成立,其中 、): 是 的无偏估计; 是 的无偏估计,其分母之所以取 ,就是为了保证无偏;而 是有偏的()。必须注意:无偏性经过非线性变换以后一般不再保持。例如 是 的无偏估计,但 一般不是 的无偏估计。

② 有效性,即都无偏时比较哪一个更集中:设 、 都是 的无偏估计。如果

那么称 比 有效。方差较小,就表示取值更集中在真值附近。这里二者都无偏这一前提缺一不可,有偏的估计不能参加这种比较。

③ 相合性(一致性),即样本容量足够大时估计终究准确:如果对任意 ,有

那么称 为 的相合估计。这是三个标准中唯一涉及 的大样本标准。根据大数定律(§19.2), 与各阶样本矩 分别是 与 的相合估计。实用的判别法为 且 相合,详见本节最后一条。

这三者互不蕴含:无偏的未必相合,相合的也未必无偏,例如 有偏,却是相合的。
证明 / 推导下面对同一参数 的两个估计 与 ,逐条检验上述三个标准.
无偏性 因 ,,故二者都无偏,由标准 ① 分不出优劣。
有效性 由 知, 比 有效。只取第一个观测值而舍弃其余 个,虽然仍旧无偏,却浪费了样本所含的信息。
相合性 由切比雪夫不等式得 ,所以 是相合的;而 的分布与 无关,对非退化的总体,总存在 ,使 等于一个不随 减小的正常数,因此 不相合。这说明数据再多,它也不会更准确。
举例说明真题(2009·数一). 设 是来自二项总体 的样本,、 分别为样本均值与样本方差。若 是 的无偏估计量,求 。

解. 直接按定义 ① 来做:应有 。对任何总体恒有 、;而对 有 ,。于是

再由 得 。易错之处:本题中样本容量是 ,二项分布的参数才是 。不要把 写成含 的式子; 与样本容量无关,这一点就是 为无偏估计的含义。

2. 样本均值是方差最小的线性无偏估计:最优的权系数即等分★★ 必会

估计总体均值时为什么总用 ?这并非只是习惯,而是有可以证明的最优性。下面考察一切形如 的线性估计,其中 独立同分布,均值为 、方差为 :

- 无偏 对一切 成立 ;
- 它的方差为 。

于是问题化为:在约束 之下, 何时最小。答案是 ,这时所得的估计即为 。因此 是一切线性无偏估计中方差最小的一个。
证明 / 推导证 由柯西-施瓦茨不等式,

故 ,其中等号成立当且仅当各 与 成比例,即 。因此对任意满足 的线性无偏估计,都有

这就证明了 的方差最小,即最有效。

3. 有偏估计可以修正为无偏:乘上一个已知的常数因子★★ 必会

如果某个估计满足 ,其中 是已知常数,那么 就是无偏估计。这种消去偏差的做法,是构造无偏估计的常用方法:先算出 ,看它是真值的几倍,再除以这个倍数。

下面两个例子应当熟记:
- 满足 ,因此 是无偏的;
- 的最大似然估计 满足 ,因此 是无偏的。
证明 / 推导证. 先证去偏的一般结论。设 ,其中 是不依赖于 的已知常数。由数学期望的线性性质,

故 是 的无偏估计。必须注意 中不能含有未知参数。如果 与 有关,那么 就不是统计量,不能用作估计。

下面证明上面引用的 ,样本方差的分母取 即由此而来。设 是来自总体 的样本,,。先把平方和改写:

再由 得

其中用到 与 ,后者要求样本相互独立。对上面的平方和取期望,得

两端除以 ,即得 。可见 偏小,其偏差为 。按上面的去偏方法取 ,便有

即 无偏。这就证明了样本方差的分母为什么取 而不取 。
举例说明设 , 为来自该总体的样本。试判断 与 是否无偏,并把有偏的一个修正为无偏。

解. 因 ,故 ,可见 是无偏的。

而 ,故它有偏,且偏小。乘上因子 加以修正,得

(附带指出:比较 与 可以看出,基于 的估计其方差要小得多,为 阶,因而更有效。)

4. 无偏并不等于最好:均方误差 = 方差 + 偏差²,稍有偏差时有时反而更准★ 要懂

综合评价一个估计的指标是均方误差

无偏性只保证上式右端第二项为零。但是,如果容许有少量偏差而能使方差大为减小,那么均方误差反而更小。下面是一个经典而与直觉相反的结论:对正态总体,在形如 的方差估计中,使均方误差最小的系数是 ,它既不是无偏估计所用的 ,也不是最大似然估计所用的 。由此可见,无偏性只是诸多评价标准之一,并非唯一的准则。
证明 / 推导证 先作均方误差的分解. 记 ,则


再求最优系数. 设总体服从 ,记 ,则 ,于是

对估计 ,有

对 求导数并令其为零,得 。这时 ,它既小于无偏估计 的均方误差,也小于最大似然估计的均方误差。

5. 判定相合性的常用充分条件:期望趋于真值且方差趋于零★★ 必会

直接验证依概率收敛往往比较困难。实用的充分条件是:如果

那么 是 的相合估计。证明要用切比雪夫不等式,并用到上一条中均方误差的分解。由此可见,凡是渐近无偏而且方差趋于零的估计都是相合的,其中也包括有偏的最大似然估计(例如 ,其期望 、方差 ,故相合)。
证明 / 推导证 对任意 ,由切比雪夫(马尔可夫)不等式,有

当 时,右端分子中 、,因此整个式子 。这就证明了 ,即它是相合的。

应用 对 有 、,因此 是 的相合估计。
💡 小知识
样本方差的分母取 n-1 而不是 n,这一改动称为贝塞尔校正。道理并不难理解:均值 X̄ 是由样本自己算出来的,数据天然更贴近自己的平均值,偏差平方和于是系统性地偏小;改除以 n-1,恰好补回了用掉一个自由度所损失的那一份,估计也就回到无偏。

基础例题

从最基础开始,循序渐进;先独立尝试,再展开完整解答。

例 1 设 是来自均值为 、方差为 的总体的样本,。证明样本均值 是总体均值 的无偏估计。 难度 1目标: 证明 。

第一步:用期望的线性性。


第二步:代入 。 每个 与总体同分布,,共 项:


结论: ,故 是 的无偏估计。

方法总结:验证无偏性 直接计算 ,看是否恒等于 。这里只用到期望的线性性,是最基础的无偏证明。
例 2 设 是来自均值 、方差 总体的样本。记 ,。(1)验证 是 的无偏估计;(2)比较 与 哪个更有效。 难度 2(1)验证无偏性。 由期望线性性,系数之和

故 无偏。(同理系数和为 的线性组合都无偏, 亦无偏。)

(2)比较方差。 因 相互独立、方差同为 :



结论: ,故 更有效。

这也印证了一般结论:等权平均 在所有「系数和为 的无偏线性估计」中方差最小。
例 3 设 是来自方差为 的总体的样本,记 。已知 。(1)求 ,判断 是否为 的无偏估计;(2)求常数 ,使 为 的无偏估计。 难度 2(1)计算 。

因 (偏小),故 是有偏的,偏差为 。

(2)求无偏系数 。 令

解得 。

结论: 取 ,即 才是 的无偏估计——这正是样本方差分母取 (而非 )的原因。

真题精选

近年原题,先做做看、自动判分,再对照答案、思路与完整解答。

2026 年 · 数一 · 第 22 题 · 解答题 · 12 分

假设某种元件的寿命服从指数分布,其均值 是未知参数。为估计 ,取 个这种元件同时做寿命试验,试验到出现 个元件失效时停止。

(1)若 ,失效元件寿命记为 。(i) 求 的概率密度;(ii) 确定 ,使 是 的无偏估计,求 。

(2)已知 个失效元件寿命值分别为 且 ,似然函数为 ,求 的最大似然估计值。

2024 年 · 数一 · 第 22 题 · 解答题 · 12 分

设总体 服从 上的均匀分布,其中 为未知参数。 是来自总体 的简单随机样本,记 ,。

(Ⅰ)求 ,使得 是 的无偏估计;

(Ⅱ)记 ,求 使得 最小。

2023 年 · 数一 · 第 10 题 · 选择题 · 5 分

设 为来自总体 的简单随机样本,其中 为未知参数。若 为 的无偏估计,则 (  )
  • A.
  • B.
  • C.
  • D.

2021 年 · 数一 · 第 9 题 · 选择题 · 5 分

设 为来自总体 的简单随机样本,令 ,,,,则(  )
  • A 是 的无偏估计,
  • B 不是 的无偏估计,
  • C 是 的无偏估计,
  • D 不是 的无偏估计,

随堂练习

先用基础题热身,再按年份从新到旧挑战本知识点的其余真题。

练习 1 · 选择题

设 ()是来自方差为 总体的样本, 为样本均值。下列统计量中,是 的无偏估计的是( )。
  • A
  • B
  • C
  • D

练习 2 · 选择题

设 是来自均值 、方差 总体的样本,,。二者都是 的无偏估计,则( )。
  • A 比 有效
  • B 比 有效
  • C两者同样有效
  • D无法比较有效性

练习 3 · 填空题

设 是来自均值 、方差 总体的样本, 为样本均值,则 ____。

练习 4 · 选择题

设 是参数 的估计量,且 ,。则 ( )。
  • A既无偏又相合
  • B有偏但相合
  • C无偏但不相合
  • D有偏且不相合

练习 5 · 选择题

设 ()是来自方差 的总体的样本, 为样本方差, 为样本标准差。已知 ,且 不是(以概率 取值的)常数,则( )。
  • A 也是 的无偏估计,即
  • B
  • C
  • D 与 的大小关系无法确定

练习 6 · 填空题

设 ()是来自总体 的简单随机样本,, 均存在。若

是 的无偏估计,则常数 ____。

练习 7 · 解答题

设总体 服从区间 上的均匀分布( 未知), 是来自 的简单随机样本,记 ,。
(1)证明 是 的无偏估计,并求 ;
(2)求 的概率密度,并由此求出 与 ;
(3)用 构造 的无偏估计 ,并比较 与 的有效性。

2018 年 · 数一 · 第 23 题 · 解答题 · 11 分

设总体 的概率密度为 ,其中 为未知参数, 为来自总体 的简单随机样本。记 的最大似然估计量为 .
(Ⅰ)求 ;
(Ⅱ)求 ,.

2016 年 · 数一 · 第 23 题 · 解答题 · 11 分

设总体 的概率密度为 其中 为未知参数, 为来自总体 的简单随机样本,令 。

(Ⅰ)求 的概率密度;

(Ⅱ)确定 ,使得 为 的无偏估计。