最大似然估计

① 似然函数：设总体的概率密度为 $f(x;\theta )$（连续型）或分布律为 $P\{X=x;\theta \}$（离散型），$x_1,\dots ,x_n$ 为样本观测值。把数据看作固定的，而把参数看作变量，定义似然函数
$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{n}f(x_i;\theta )(\text{连续型})\\ L(\theta )& =\prod _{i=1}^{n}P\{X=x_i;\theta \}(\text{离散型}).\end{array}$$
之所以可以写成连乘，是因为简单随机样本独立同分布。$L(\theta )$ 所刻画的是：当参数取 $\theta$ 时，这一组数据出现的可能性有多大。

② 最大似然估计的定义：使似然函数取得最大值的参数值
$$\begin{array}{rl}\hat{\theta }& =\arg \underset{\theta }{\max }L(\theta ),\text{即}\\ L(\hat{\theta })& =\underset{\theta }{\max }L(\theta )\end{array}$$
称 $\hat{\theta }(x_1,\dots ,x_n)$ 为最大似然估计值，把观测值换成样本后所得的 $\hat{\theta }(X_1,\dots ,X_n)$ 称为最大似然估计量（MLE）。它的基本思想是：既然这一组数据已经出现，就取使它最有可能出现的那个参数值。

③ 求解的四个步骤：
(1) 写出 $L(\theta )$。注意概率密度不为零的范围；如果支撑中含有 $\theta$（例如 $x>\theta$），那么要把它作为约束一并写出；
(2) 取对数得 $\ln L(\theta )$。因为 $\ln$ 严格单调增加，所以最大值点不变，而连乘化成了求和；
(3) 解似然方程 $\frac{\mathrm{d}\ln L}{\mathrm{d}\theta }=0$（参数不止一个时，令各偏导数为零联立求解，范例见下一条正态总体的双参数情形）；
(4) 确认所得的点是最大值点，再把观测值换成样本，即得估计量；解出的根必须落在参数的取值范围之内，范围之外的根应当舍去。

④ 求导失效时回到定义：如果 $\ln L$ 关于 $\theta$ 单调（导数恒不为零），那么最大值在参数范围的端点处取得。这时必须回到定义 ② 直接取端点，例如 $U[0,\theta ]$ 的 $\hat{\theta }=X_{(n)}$、作平移的指数总体的 $\hat{\theta }=X_{(1)}$（详见后文关于似然函数单调时求导失效的一条）。

正态总体两个参数的最大似然估计，是考试中出现最多的多参数似然计算。做法是对 $\mu$ 与 ${\sigma }^2$ 分别求偏导数，再联立求解。所得结论应当熟记：
$$\begin{array}{rl}\hat{\mu }& =\bar{X}\\ \widehat{{\sigma }^2}& =\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2(\text{分母 }n).\end{array}$$
必须注意：$\hat{\mu }=\bar{X}$ 是无偏的，而 $\widehat{{\sigma }^2}$ 的分母是 $n$ 而不是 $n-1$，因此它是有偏的（$E(\widehat{{\sigma }^2})=\frac{n-1}{n}{\sigma }^2$）。它与样本方差 $S^2$ 的区别就在于此。

设 $X\sim U[0,\theta ]$，则似然函数 $L(\theta )={\theta }^{-n}{1}_{\{\theta \ge X_{(n)}\}}$ 关于 $\theta$ 单调减少，因而最大值在左端点 $\theta =X_{(n)}$ 处取得。这时求导法完全失效，只能回到定义去求。所以 ${\hat{\theta }}_{\text{MLE}}=X_{(n)}={\max }_i{X}_i$。

再进一步考察：因为最大的观测值总是 $\le \theta$，所以 $X_{(n)}$ 系统地偏小，它是有偏估计。事实上可以精确算出 $E(X_{(n)})=\frac{n}{n+1}\theta <\theta$，由此得到无偏的修正 $\frac{n+1}{n}{X}_{(n)}$。由此可见，最大似然估计不一定是无偏的。

最大似然估计有一条矩估计不具备的性质，称为不变性：如果 $\hat{\theta }$ 是 $\theta$ 的最大似然估计，那么对任意函数 $g$，$g(\theta )$ 的最大似然估计就是 $g(\hat{\theta })$。

从直观上看，似然函数在 $\hat{\theta }$ 处取得最大值，作单调的变量替换以后，最大值点随之移到 $g(\hat{\theta })$。这一性质用处很广：无论是改换参数的写法（用率参数还是用均值），还是要估计某个概率或可靠度，都不必重新求解似然方程，直接代入即可。

离散型总体的似然函数是分布律的连乘 $L(\theta )=\prod P\{X=x_i;\theta \}$。许多离散分布的最大似然估计，最后都归结为某种频率或样本均值，这正与取使数据最可能出现的参数值这一基本思想相合。例如两点分布 $B(1,p)$ 的最大似然估计为 $\hat{p}=\bar{X}$，它就是成功的频率。几何分布也属于同一类情形，而且所得结果与矩估计一致。