最大似然估计

① 似然函数：设总体的密度为 $f(x;\theta )$（连续型）或分布律 $P\{X=x;\theta \}$（离散型），$x_1,\dots ,x_n$ 为样本观测值。把观测数据看作固定的，而把参数看作变量，定义似然函数
$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{n}f(x_i;\theta )(\text{连续型})\\ L(\theta )& =\prod _{i=1}^{n}P\{X=x_i;\theta \}(\text{离散型}).\end{array}$$
之所以能写成连乘，是因为简单随机样本独立同分布。$L(\theta )$ 衡量当参数取 $\theta$ 时，这批数据出现的可能性的大小。

② 最大似然估计的定义：使似然函数达到最大的参数值
$$\begin{array}{rl}\hat{\theta }& =\arg \underset{\theta }{\max }L(\theta ),\text{即}\\ L(\hat{\theta })& =\underset{\theta }{\max }L(\theta )\end{array}$$
$\hat{\theta }(x_1,\dots ,x_n)$ 称为最大似然估计值；把观测值换成样本，$\hat{\theta }(X_1,\dots ,X_n)$ 称为最大似然估计量（MLE）。这一定义的想法是：既然这批数据已经出现，就取使它出现的可能性最大的那个参数值。

③ 四步流程：
(1) 写出 $L(\theta )$。注意密度不为零的范围；如果这个范围含有 $\theta$，例如 $x>\theta$，那么应当把它作为约束一并写出；
(2) 取对数 $\ln L(\theta )$。因为 $\ln$ 严格单调增加，最大值点不变，而连乘化为求和；
(3) 解似然方程 $\frac{\mathrm{d}\ln L}{\mathrm{d}\theta }=0$；参数不止一个时，把各个偏导数都置为零并联立求解，见下一条正态双参数的例子；
(4) 确认所求的点是最大值点，再把观测值换成样本，即得估计量。所解出的根必须落在参数的取值范围内，范围以外的根应当舍去。

④ 求导法失效时回到定义：如果 $\ln L$ 关于 $\theta$ 单调，即导数恒不为零，那么最大值在参数取值范围的边界处取得。这时必须回到定义 ②，直接取边界上的值，例如 $U[0,\theta ]$ 的 $\hat{\theta }=X_{(n)}$，以及平移指数总体的 $\hat{\theta }=X_{(1)}$（详见后文关于似然函数单调时求导法失效的一条）。

正态总体两个参数的最大似然估计，是多参数似然计算中考查最多的一种。做法是对 $\mu$ 与 ${\sigma }^2$ 分别求偏导数，再联立求解。结论应当熟记：
$$\begin{array}{rl}\hat{\mu }& =\bar{X}\\ \widehat{{\sigma }^2}& =\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2(\text{分母 }n).\end{array}$$
注意 $\hat{\mu }=\bar{X}$ 是无偏的，而 $\widehat{{\sigma }^2}$ 的分母是 $n$，不是 $n-1$，因此它有偏，事实上 $E(\widehat{{\sigma }^2})=\frac{n-1}{n}{\sigma }^2$。这一点就是它与样本方差 $S^2$ 的区别所在。

$X\sim U[0,\theta ]$ 的似然函数 $L(\theta )={\theta }^{-n}{1}_{\{\theta \ge X_{(n)}\}}$ 关于 $\theta$ 单调减少，其最大值在左端点 $\theta =X_{(n)}$ 处取得。这时求导法完全失效，只能回到定义，所以 ${\hat{\theta }}_{\text{MLE}}=X_{(n)}={\max }_i{X}_i$。

再进一步看：由于最大的观测值总 $\le \theta$，所以 $X_{(n)}$ 系统地偏小，是有偏估计。可以精确算出 $E(X_{(n)})=\frac{n}{n+1}\theta <\theta$，据此得到无偏的修正 $\frac{n+1}{n}{X}_{(n)}$。由此可见：最大似然估计未必无偏。

最大似然估计有一条矩估计不具备的便利性质，称为不变性：若 $\hat{\theta }$ 是 $\theta$ 的最大似然估计，则对任意函数 $g$，$g(\theta )$ 的最大似然估计就是 $g(\hat{\theta })$。

直观的解释是：似然函数在 $\hat{\theta }$ 处取得最大值，作单调的变量替换后，最大值点也随之移到 $g(\hat{\theta })$。这条性质用途很广：改换参数（用率还是用均值），或者估计某个概率、某个可靠度时，都不必重新解似然方程，代入即可。

离散总体的似然函数是分布律的连乘 $L(\theta )=\prod P\{X=x_i;\theta \}$。许多离散分布的最大似然估计最后都归结为某种频率或样本均值，这正与取使数据最可能出现的参数这一想法相符。例如两点分布 $B(1,p)$ 的 $\hat{p}=\bar{X}$，它就是成功的频率。几何分布的情形与此相类似，而且与矩估计的结果一致。