离散型
第一步:把分布律写成含 x 的一个式子(两点分布要合并成指数形式)。
第二步:连乘得 L(θ),把同底的指数相加。
第三步:取对数,与参数无关的项并成常数。
第四步:求导令零,解出 θ^,最后把 xi 换回 Xi。例例. 总体服从两点分布 P(X=1)=p、P(X=0)=1−p,求 p 的最大似然估计。
第一步,把分布律写成一个式子:
P(X=x)=px(1−p)1−x,x=0,1.
(x=1 代入得 p,x=0 得 1−p ✓ 不合并成这样,后面没法连乘。)
第二步,连乘,同底指数相加:L(p)=p∑xi(1−p)n−∑xi。
第三步,取对数:
lnL=(∑xi)lnp+(n−∑xi)ln(1−p).
第四步,求导令零得 p^=n∑xi=xˉ,最后把 xi 换回大写:p^=Xˉ。
连续型
第一步:写出密度,连同定义域。
第二步:连乘得 L(θ);若定义域含参数,把约束单独写成一行。
第三步:定义域不含参数 ⇒ 取对数求导。
第四步:定义域含参数 ⇒ 看 L 的单调性,在端点取最值。例例. 两种情形:① X∼E(λ);② X∼U(0,θ)。
第一步,写密度连同定义域。
第二步,① L(λ)=λne−λ∑xi(xi>0),定义域不含参数;
② L(θ)=θn1,约束单独写一行:所有 0≤xi≤θ,即 θ≥maxxi——定义域含参数。
第三步,① 取对数求导:lnL=nlnλ−λ∑xi,令导数为零得 λ^=xˉ1。
第四步,② 不能求导——L(θ)=θ−n 关于 θ 单调递减,θ 越小越好;而约束要求 θ≥maxxi,于是在端点取到最大:
θ^=max{X1,…,Xn}.
对 ② 硬求导会得到「导数恒不为零、无解」——那是在提醒你回第二步看约束。
两个参数
第一步:写 lnL(μ,σ2)。
第二步:分别对两个参数求偏导。
第三步:令两个偏导为零,联立求解(通常先解出 μ^ 再代入)。
第四步:正态的结果记住:μ^=Xˉ,σ^2 分母为 n。例例. 设 X∼N(μ,σ2),两个参数都未知,求最大似然估计。
第一步,
lnL=−2nln(2π)−2nlnσ2−2σ21∑(xi−μ)2.
第二步,分别对两个参数求偏导(把 σ2 整体当成一个参数,比对 σ 求导干净得多):
∂μ∂lnL=σ21∑(xi−μ),∂σ2∂lnL=−2σ2n+2σ4∑(xi−μ)2.
第三步,令两者为零:第一式给 μ^=xˉ,代入第二式解出
σ^2=n1∑(xi−xˉ)2.
第四步,记住这个结果:μ^=Xˉ,σ^2 的分母是 n(和矩估计一样,也是有偏的)。