乐思数学通 › 先打基础 › 最大似然估计

最大似然估计

概率论与数理统计 · 参数估计

这一条要先会:总体、样本与统计量、常见离散分布(二项、泊松、几何等)、常见连续分布(均匀、指数、正态)

先打基础

一条一条过。读完点「已懂」或「待回顾」,这条就收起来,页面上剩下的就是还没过的。

1. 似然函数:把样本当已知,把参数当变量

设总体的分布律或密度里含未知参数 。似然函数就是样本的联合
分布律(或联合密度),只不过换了个看法:



(离散型),或



(连续型)。

式子还是那个式子,但现在 是已经观测到的数,
才是自变量。

最大似然的想法:既然这组数据已经出现了,
就挑一个让它「最容易出现」的 ——也就是让 最大的那个。

记作 ,叫最大似然估计。

2. 取对数:把连乘变成连加

直接对连乘式求导要用乘积法则,项数随 增长,没法算。
办法是先取对数:



连乘变成了连加,求导就是逐项求导。

这样做不改变最大值点: 是严格单调增的,
在哪里最大, 就在哪里最大。

于是解似然方程



得到的驻点就是候选的 。

3. 标准步骤与多参数情形

单参数的流程固定成四步:

① 写 (连乘,注意定义域);
② 取对数把连乘拆开;
③ 对 求导令其为零,解出驻点;
④ 下结论,把 换回大写的 。

两个参数时第③步改成求两个偏导:



联立解出。正态总体的结果要记住:





注意 的分母是 ——和矩估计给的一样,都有偏。

4. 导数法失效:似然单调时看端点

若 对 单调,导数永远不为零,似然方程无解。
这时要回到最大似然的本意:在允许的范围内,哪个 让 最大?

典型是均匀分布 。密度 (),所以



但有个硬约束:每个 都要落在 内,即



关于 递减,所以 取得越小越好,
而它又不能小于 。于是

常用结构

这类题反复出现的那个写法骨架——按这个顺序动笔。

离散型

第一步:把分布律写成含 的一个式子(两点分布要合并成指数形式)。

第二步:连乘得 ,把同底的指数相加。

第三步:取对数,与参数无关的项并成常数。

第四步:求导令零,解出 ,最后把 换回 。
例例. 总体服从两点分布 、,求 的最大似然估计。

第一步,把分布律写成一个式子:



( 代入得 , 得 ✓ 不合并成这样,后面没法连乘。)

第二步,连乘,同底指数相加:。

第三步,取对数:



第四步,求导令零得 ,最后把 换回大写:。

连续型

第一步:写出密度,连同定义域。

第二步:连乘得 ;若定义域含参数,把约束单独写成一行。

第三步:定义域不含参数 取对数求导。

第四步:定义域含参数 看 的单调性,在端点取最值。
例例. 两种情形:① ;② 。

第一步,写密度连同定义域。

第二步,① (),定义域不含参数;

② ,约束单独写一行:所有 ,即 ——定义域含参数。

第三步,① 取对数求导:,令导数为零得 。

第四步,② 不能求导—— 关于 单调递减, 越小越好;而约束要求 ,于是在端点取到最大:



对 ② 硬求导会得到「导数恒不为零、无解」——那是在提醒你回第二步看约束。

两个参数

第一步:写 。

第二步:分别对两个参数求偏导。

第三步:令两个偏导为零,联立求解(通常先解出 再代入)。

第四步:正态的结果记住:, 分母为 。
例例. 设 ,两个参数都未知,求最大似然估计。

第一步,



第二步,分别对两个参数求偏导(把 整体当成一个参数,比对 求导干净得多):



第三步,令两者为零:第一式给 ,代入第二式解出



第四步,记住这个结果:, 的分母是 (和矩估计一样,也是有偏的)。

基础易错

基础阶段真的会犯的那几处,每条都指到动笔的哪一步。

忘了写定义域

连续型的密度一定要连同取值范围写出来。

定义域里含参数时,它给出的约束就是答案的来源;
漏掉它会把 做成无解。

一看到参数出现在范围上,就去看端点。

似然无驻点还硬求导

的导数恒不为零,令它等于零解不出东西。

这时要用单调性加约束,在端点取最大。

结论是 或 ,不是某个方程的根。

正态的 写成分母

最大似然给出的分母是 ,和矩估计一样,都有偏。

分母 的 是为无偏性人为改过的,不是哪种估计法的原产物。

问最大似然就答分母 。

答案里留着小写的

最后要把 换回大写 :估计量是随机变量。

留着小写只表示这一次的估计值。

评价无偏、有效时评的都是估计量,必须是大写。

自己试一试

这一档不判分、不记进度,想不出来就直接看解答。

第一组 · 写似然

练 1

似然函数 把样本值看作已知,把 ________ 看作自变量。

练 2

取对数之后求导,依据是 函数( )。
  • A严格单调递增,不改变最大值点
  • B是偶函数
  • C有界
  • D处处可导且导数为正,故 与 最大值相同

练 3

总体服从 ,记 ,则 ,其中 ________。

练 4

总体服从泊松分布时, 中与 无关的项求导后( )。
  • A要保留
  • B变成
  • C直接消失
  • D使方程无解

第二组 · 会解

练 5

总体服从泊松分布,则 的最大似然估计 ________。

练 6

总体服从参数 的指数分布,则 ________。

练 7

总体 , 的最大似然估计分母是( )。
  • A
  • B
  • C
  • D

练 8

总体 ,则 的最大似然估计 ________。

第三组 · 看清情形

练 9

什么情况下最大似然不能用求导法( )。
  • A样本容量太小
  • B密度的定义域含未知参数
  • C总体是离散型
  • D参数有两个

练 10

样本 来自 。下列正确的是( )。
  • A矩估计 合理,最大似然 不合理
  • B两者都等于
  • C最大似然 合理,矩估计 与观测矛盾
  • D两者必然相同

练 11

总体密度 (),则 ________。

练 12

关于似然函数 ,正确的是( )。
  • A它是 的概率密度
  • B它对 积分等于
  • C它只能用来比较不同 的大小
  • D它一定小于

读完了?下一步是同一个知识点的完整讲解,那一档按考试难度写。

数一 · 完整讲解数三 · 完整讲解大学版 · 完整讲解