乐思数学通 › 考研数学(三) › 第 20 章 参数估计

估计量的评价标准(无偏、有效、一致)

§20.3 · 核心概念🌱 基础篇 →

考频价值

2.25 分/卷近 11 年平均
5/11 年出现年份
2.2 分支撑的下游价值

前置诊断

① 直接前置(需先掌握)数学期望方差大数定律

要点精讲

把关键道理、证明与典型例子重新过一遍。

1. 评价估计量的三个标准:无偏性 、有效性(都无偏时方差较小者为优)、相合性 ★★ 必会

设 是参数 的估计量。这三条标准回答三个不同的问题。

① 无偏性,即平均而言不偏离真值:如果

就称 为 的无偏估计,而 称为偏差。下面是基本事实(对任意总体,只要 、): 是 的无偏估计; 是 的无偏估计,其中分母取 正是为了保证无偏,而 则是有偏的()。必须注意:无偏性经过非线性变换会丧失,例如 是 的无偏估计,但 一般不是 的无偏估计。

② 有效性,即都无偏时比较谁更稳定:设 、 都是 的无偏估计,如果

就称 比 有效。方差小,意味着取值更集中在真值附近。二者都无偏这一前提缺一不可,有偏的估计不能参加这种比较。

③ 相合性(一致性),即样本足够大时终究估得准:如果对任意 ,有

就称 为 的相合估计。这是唯一涉及 的大样本标准;由大数定律(§19.2), 与各阶样本矩 分别是 与 的相合估计。实用的判别法是: 且 相合,这一条见本节的最后一处。

这三条标准互不蕴含:无偏未必相合,相合也未必无偏(例如 有偏却相合)。
证明 / 推导同一个 的两个估计 与 ,依这三条标准逐一比较.
无偏:,,都是无偏的,第 ① 条分不出高下。
有效:,故 比 有效。只用第一个观测值而丢掉其余 个,虽然无偏,却浪费了信息。
相合:由切比雪夫不等式 ,故 相合;而 的分布与 无关,对非退化的总体,总存在 使 是不随 衰减的正常数,故 不相合,即数据再多,它也不会更准。
举例说明(数三 2008) 设 是 的样本,、,令 。证明 是 的无偏估计量。

解(验证无偏性 直接计算 ). 用两条对正态样本恒成立的事实:,故 ;又 无偏,。于是

即 是 的无偏估计量。易错之处:,必须补上方差项 。而这一项被 消去,才得到无偏。由此可见,验证无偏性就是直接计算 ,再看它是否恒等于被估的量。

2. 样本均值是最有效的线性无偏估计:最优的权数就是等分

为什么估计均值总用 ?这不只是习惯,而是可以证明的最优性。考虑一切形如 的线性估计,其中 独立同分布,均值为 、方差为 :

- 无偏 对一切 成立 ;
- 它的方差为 。

于是问题化为:在约束 之下, 何时最小。答案是 ,即取 。故 是全体线性无偏估计中方差最小的一个。
证明 / 推导由柯西-施瓦茨不等式,

故 ,等号成立当且仅当各 都成比例于 ,即 。因此对任意满足 的线性无偏估计,都有

即 的方差最小,最为有效。

3. 有偏估计可以改造成无偏估计:乘上一个已知的常数因子★★ 必会

如果某个估计满足 ,其中 是已知常数,那么 就是无偏估计。这种去偏的做法是考试中常见的构造方法:先算出 ,看它是真值的几倍,再除去这个倍数。

下面是两个必须掌握的例子:
- 满足 ,故 是无偏的;
- 的最大似然估计 满足 ,故 是无偏的。
证明 / 推导证. 先证去偏的一般结论。设 ,其中 是不依赖于 的已知常数。由数学期望的线性性质,

故 是 的无偏估计。必须注意 中不能含有未知参数。如果 与 有关,那么 就不是统计量,不能用作估计。

下面证明上面引用的 ,样本方差的分母取 的道理即在于此。设 是来自总体 的样本,,。先把平方和改写:

再由 得

其中用到 与 ,后者要求样本相互独立。对上面的平方和取期望,得

两端除以 ,即得 。可见 偏小,其偏差为 。按上面的去偏方法取 ,便有

即 无偏。这就证明了样本方差的分母为什么取 而不取 。
举例说明(数三 2024) 设 ,,。(Ⅰ)求 使 ;(Ⅱ)求 使 最小。

解. 由 得密度 (),于是

(Ⅰ)去偏:。这就是把有偏估计乘上常数因子改成无偏估计: 偏小,乘以 加以修正。
(Ⅱ)最小均方误差: 是开口向上的二次函数,其顶点为 。
注意 :使均方误差最小的系数比无偏的系数略小,也就是略微欠修正、保留一点负偏差,反而把均方误差压得更低。这就是无偏未必最优的一个实例,详见本节关于均方误差的一条。

4. 无偏并不等于最好:均方误差 = 方差 + 偏差²,有时略有偏差反而更准★ 要懂

综合评价一个估计的指标是均方误差

无偏性只保证上式中的第二项为零。但是,如果容忍一点偏差能够大幅降低方差,均方误差反而更小。下面是一个经典而与直觉相违的结论:在正态总体下,在形如 的方差估计中,使均方误差最小的系数是 ,它既不是无偏的 ,也不是最大似然估计的 。由此可见,无偏只是众多标准之一,并不是至高无上的。
证明 / 推导均方误差的分解:记 ,则


最优系数:设总体服从 ,记 ,则 ,于是

对估计 ,有

对 求导并令其为零,得 。这时 ,它小于无偏估计 与最大似然估计的均方误差。

5. 判定相合性的实用充分条件:期望趋于真值,且方差趋于零★★ 必会

直接验证依概率收敛往往很困难。实用的充分条件是:如果

那么 是 的相合估计。证明要用切比雪夫不等式,并用到上一条中均方误差的分解。由此可知,凡是渐近无偏而方差趋于零的估计都是相合的,其中包括有偏的最大似然估计(例如 ,它的期望 、方差 ,故相合)。
证明 / 推导对任意 ,由切比雪夫(马尔可夫)不等式,

当 时,右端分子中 、,故整体 。即 ,这就证明了相合性。

应用: 有 、,故 是 的相合估计。
举例说明(数三 1992) 设 独立同分布,,。判断下列哪一个正确:(A) 是 的无偏估计;(B) 是 的最大似然估计;(C) 是 的相合(一致)估计;(D) 与 相互独立。

解. (A) 如果 ,那么 ,这与 是随机变量相矛盾,故 。可见 虽然无偏,但开方以后 一般是有偏的,这说明无偏性经过非线性变换会丧失。(B)(D) 都要依赖总体服从正态分布等具体假设,而本题中分布未知,不能断言。(C) 由 (样本方差是相合的)以及连续函数保持依概率收敛,得 ,故 是相合的。故选 (C)。
本题说明:相合性由大数定律给出,不依赖总体的分布;而无偏性会被开方这类非线性变换破坏。
💡 小知识
样本方差的分母取 n-1 而不是 n,这一做法称为贝塞尔校正。直观地说,均值 X̄ 是由样本自己算出来的,数据天然更贴近自己的平均值,偏差平方和因此系统性地偏小;除以 n-1 而不是 n,恰好补回样本用掉一个自由度所造成的那份损失,使估计重新变得无偏。

基础例题

从最基础开始,循序渐进;先独立尝试,再展开完整解答。

例 1 设 是来自均值为 、方差为 的总体的样本,。证明样本均值 是总体均值 的无偏估计。 难度 1目标: 证明 。

第一步:用期望的线性性。


第二步:代入 。 每个 与总体同分布,,共 项:


结论: ,故 是 的无偏估计。

方法总结:验证无偏性 直接计算 ,看是否恒等于 。这里只用到期望的线性性,是最基础的无偏证明。
例 2 (数三 2016) 设总体 的密度为 ( 未知), 为样本,。(Ⅰ)求 的概率密度;(Ⅱ)确定 使 。 难度 2(Ⅰ)最大值统计量的分布。 先由密度积出分布函数: 时 。三样本独立同分布,故

其余为 。

(Ⅱ)构造无偏估计。 。由 ,解得 。
要点: 用分布函数的幂 ( 才用 );先求出 的密度再算 ,最后乘因子去偏。
例 3 (数三 2005) 设 来自 ,样本均值 ,记 。(Ⅰ)求 ;(Ⅱ)求 ;(Ⅲ)若 是 的无偏估计,求 。 难度 3 独立,,。常用小结论:,。

(Ⅰ) 把 展成线性组合,由独立性


(Ⅱ) 双线性展开:。

(Ⅲ) 正态、,故 。由 得 。
例 4 (数三 2018) 设总体 的密度为 ( 未知),其最大似然估计量为 。求 与 ,并说明无偏性。 难度 2关键:认出 服从参数 的指数分布,故 、。逐一验证:


由样本独立同分布:

故 是 的无偏估计,且方差 (结合渐近无偏,还相合)。

真题精选

近年原题,先做做看、自动判分,再对照答案、思路与完整解答。

2026 年 · 数三 · 第 22 题 · 解答题 · 12 分

假设某种元件的寿命服从指数分布,其均值 是未知参数。为估计 ,取 个这种元件同时做寿命试验,试验到出现 ()个元件失效时停止。

(1)若 ,失效元件的寿命记为 ,(i)求 的概率密度;(ii)确定 ,使得 是 的无偏估计,并求 ;

(2)已知 个失效元件的寿命值分别为 ,且 ,似然函数为 ,求 的最大似然估计值。

2024 年 · 数三 · 第 22 题 · 解答题 · 12 分

设总体 服从 上的均匀分布,其中 为未知参数, 为来自总体 的简单随机样本。记 ,。(Ⅰ)求 ,使得 ;(Ⅱ)记 ,求 使得 最小。

2023 年 · 数三 · 第 10 题 · 选择题 · 5 分

设 为来自总体 的简单随机样本,其中 为未知参数。记 ,若 ,则 (  )。
  • A
  • B
  • C
  • D

随堂练习

先用基础题热身,再按年份从新到旧挑战本知识点的其余真题。

练习 1 · 选择题

设 ()是来自方差为 总体的样本, 为样本均值。下列统计量中,是 的无偏估计的是( )。
  • A
  • B
  • C
  • D

练习 2 · 选择题

设 是来自均值 、方差 总体的样本,,。二者都是 的无偏估计,则( )。
  • A 比 有效
  • B 比 有效
  • C两者同样有效
  • D无法比较有效性

练习 3 · 填空题

(数三 2014) 设总体 的密度为 ( 未知), 为样本。若 ,则 ____。

练习 4 · 选择题

(数三 2023) 设 为来自 的样本( 未知),记 。若 ,则 ( )。
  • A
  • B
  • C
  • D

练习 5 · 填空题

(数三 2026) 某元件寿命服从均值为 的指数分布。 个元件同时做寿命试验,最先失效的寿命为 。若 是 的无偏估计,则 ____,此时 ____。

练习 6 · 选择题

设总体 的期望为 、方差为 , 为简单随机样本, 与 分别为样本均值与样本方差。则下列结论中正确的是( )。
  • A 是 的无偏估计
  • B若 是 的无偏估计,则 必是 的无偏估计
  • C 是 的无偏估计
  • D 是 的无偏估计

练习 7 · 填空题

设 是来自正态总体 的简单随机样本( 均未知)。若

是 的无偏估计,则 ____。

练习 8 · 解答题

设总体 服从参数为 未知 的泊松分布, 为来自总体 的简单随机样本, 与 分别为样本均值与样本方差。

(1) 求 的矩估计量与最大似然估计量;

(2) 证明:对任意常数 , 都是 的无偏估计量;

(3) 记 ,求 的最大似然估计量 ;并在 的情形下判断 是否为 的无偏估计。

2018 年 · 数三 · 第 23 题 · 解答题 · 11 分

设总体 的概率密度为 ,其中 为未知参数, 为来自总体 的简单随机样本。记 的最大似然估计量为 。

()求 ;

()求 。

2016 年 · 数三 · 第 23 题 · 解答题 · 11 分

设总体 的概率密度为 其中 为未知参数, 为来自总体 的简单随机样本,令 。(Ⅰ)求 的概率密度;(Ⅱ)确定 ,使得 。

2014 年 · 数三 · 第 14 题 · 填空题 · 4 分

设总体 的概率密度为 其中 是未知参数, 为来自总体 的简单随机样本。若 ,则 ______。