切比雪夫不等式

切比雪夫不等式常被当作一条孤立的公式来记忆，事实上它可以由更基本的马尔可夫不等式导出。马尔可夫不等式是说：如果 $Y\ge 0$，那么对任意的 $a>0$，$P\{Y\ge a\}\le \frac{E(Y)}{a}$。在其中取非负随机变量为 $Y=(X-\mu {)}^2$，取阈值为 $a={\epsilon }^2$，注意 $\{|X-\mu |\ge \epsilon \}=\{(X-\mu {)}^2\ge {\epsilon }^2\}$ 且 $E[(X-\mu {)}^2]={\sigma }^2$，即得切比雪夫不等式。可见切比雪夫不等式只是马尔可夫不等式用到二阶矩时的特例。

认清这一联系以后，还可以顺势作出推广：对任意的 $k>0$，$P\{|X-\mu |\ge \epsilon \}=P\{|X-\mu {|}^k\ge {\epsilon }^k\}\le \frac{E|X-\mu {|}^k}{{\epsilon }^k}$。$k$ 越大，如果相应的高阶矩越小，那么尾部概率随 $\epsilon$ 衰减得越快。沿着这一思路，把幂矩换成指数矩$E(e^{tX})$，便得到更精细的切尔诺夫（Chernoff）界。切比雪夫不等式（此时 $k=2$）只是这一族不等式中最简单的一个。

对于正态分布，$P\{|X-\mu |\ge 2\sigma \}\approx 0.045$，而切比雪夫不等式只给出 $0.25$，因此常有人认为这个不等式过于粗糙。但是应当追问：其中的 $1/k^2$ 能否再改小，而仍对一切分布成立？ 答案是不能。存在具体的分布使等号成立，所以在只知道期望与方差的条件下，$1/k^2$ 已是不能再改进的最优界。

其中的道理是：切比雪夫不等式要对一切方差为 ${\sigma }^2$ 的分布都成立，因此它必须适用于最极端的情形，即把概率尽量集中在 $\pm \epsilon$ 两点处的那种分布。对正态分布它显得粗糙，只是因为正态分布并不极端。如果换成下面的三点分布，这个界就恰好达到。由此可见，它在个别分布上偏松与它作为普遍适用的界不可替代，二者并不矛盾。

切比雪夫不等式有一个简单而重要的推论：如果 $D(X)=0$，那么 $X$ 以概率 $1$ 等于它的期望 $\mu$，即 $P\{X=\mu \}=1$。方差是随机变量对期望的偏离的平方的平均值，方差等于零就意味着几乎不可能发生偏离。切比雪夫不等式把这一直观说法化成了严格的命题。

这条推论在许多理论推导中都要用到。例如，说明一个方差趋于 $0$ 的估计量最终收敛于真值，或者讨论退化分布的性质，依据的都是这条推论。反过来的结论（常数的方差显然等于 $0$）也成立，因此 $D(X)=0⟺X$ 几乎必然为常数。

切比雪夫不等式最常用于这样的情形：分布未知，只知道期望与方差，此时它给出一个概率的估计。使用时可选用两个等价形式之一，估计尾部概率时用上界 $P\{|X-\mu |\ge \epsilon \}\le \frac{{\sigma }^2}{{\epsilon }^2}$，估计中心部分的概率时用下界 $P\{|X-\mu |<\epsilon \}\ge 1-\frac{{\sigma }^2}{{\epsilon }^2}$。所得到的始终是界，而不是概率的精确值。由于缺少分布的信息，只能给出这样的范围。下面的例题把切比雪夫界与精确概率同时算出，用以说明它有多粗糙，以及为什么仍然有用。