矩与协方差矩阵

定义（矩，其中 $k,l$ 为正整数）：
① $k$ 阶原点矩：$E(X^k)$，期望是一阶原点矩；
② $k$ 阶中心矩：$E\{[X-E(X){]}^k\}$，方差是二阶中心矩；
③ $k+l$ 阶混合矩：$E\left(X^k{Y}^l\right)$，$E(XY)$ 是二阶混合原点矩；
④ $k+l$ 阶混合中心矩：$E\{[X-E(X){]}^k[Y-E(Y){]}^l\}$，协方差 $\mathrm{Cov}(X,Y)$ 就是 $k=l=1$ 时的二阶混合中心矩。
由此可见，期望、方差、协方差都是矩这一概念下的不同成员（原点矩与中心矩的互化见下一条）。

定义（协方差矩阵）：设 $n$ 维随机向量 $\mathbf{X}=(X_1,\dots ,X_n{)}^{\mathsf{T}}$ 的各二阶矩都存在，记 $\mathbf{\mu }=E(\mathbf{X})$（逐分量取期望）。称
$$\begin{array}{rl}\mathbf{\Sigma }& =E[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^{\mathsf{T}}]=(c_{ij}{)}_{n\times n}\\ c_{ij}& =\mathrm{Cov}(X_i,X_j)\end{array}$$
为 $\mathbf{X}$ 的协方差矩阵。它的主对角线上是各分量的方差 $c_{ii}=D(X_i)$，其余位置上是相应的协方差。

两条基本性质：① 对称性：$c_{ij}=c_{ji}$；② 非负定：对任意常向量 $\mathbf{a}\in {\mathbb{R}}^n$ 有 ${\mathbf{a}}^{\mathsf{T}}\mathbf{\Sigma }\mathbf{a}\ge 0$。事实上它就等于线性组合的方差 $D(a_1{X}_1+\cdots +a_n{X}_n)$，而方差总是非负的（几何意义与相容性的讨论见后面各条）。

基本例子：二维正态 $N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho )$ 的协方差矩阵为 $\mathbf{\Sigma }=\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$；$n$ 维正态分布的密度中出现的 ${\mathbf{\Sigma }}^{-1}$ 与 $\det \mathbf{\Sigma }$ 就来自这个定义。

原点矩 ${\mu }_k=E(X^k)$ 便于计算，只需对 $X^k$ 取期望；中心矩 ${\nu }_k=E[(X-\mu {)}^k]$ 便于解释，它描述分布绕中心的形状。两者之间可以用二项展开互化，最常用的有两条：${\nu }_2={\mu }_2-{\mu }_1^2$（它就是方差 $=E(X^2)-[E(X){]}^2$），${\nu }_3={\mu }_3-3{\mu }_1{\mu }_2+2{\mu }_1^3$。中心矩的意义随阶数而递进：${\nu }_2$ 刻画离散程度，${\nu }_3$ 刻画偏斜（${\nu }_3>0$ 为右偏，$<0$ 为左偏，对称分布则 ${\nu }_3=0$），四阶中心矩刻画峰的尖平。由此可见，期望与方差不过是这一族形状指标中最低的两级。

$\mathbf{\Sigma }$ 非负定这一说法看似抽象，其实它就是任何线性组合的方差都非负这一事实的矩阵形式；而由它可以导出相关系数必须满足的相容性条件。在二维情形，$\det \mathbf{\Sigma }\ge 0$ 直接给出 $|\rho |\le 1$；在三维以及更高维的情形，各个相关系数就不能随意取值了，它们必须使整个相关矩阵非负定。因此会出现下面这个与直觉不合的结论：三个变量两两之间的相关系数不可能同时取很负的值。这类利用非负定性限定相关系数取值范围的题目，把概率论与线性代数中的二次型、特征值联系了起来，是数学一中的综合考点。

协方差矩阵只保证非负定，未必正定。那么它在什么情形下退化（即奇异、$\det =0$、不可逆）呢？答案是：当且仅当随机向量的各分量之间存在一个非平凡的线性关系，也就是随机点以概率 $1$ 落在某个低维超平面上。由此也就说明了：主成分分析中某个方向上的方差为 $0$ 因而可以舍去；多元正态分布中$\mathbf{\Sigma }$ 奇异时密度不存在，此时分布是退化的。因此，题目问$\mathbf{\Sigma }$ 是否可逆，实际上是在问这些变量是否线性相关。

有了协方差矩阵 $\mathbf{\Sigma }$，一切线性组合的二阶数字特征都可以用一个二次型或双线性型统一算出：
$$\begin{array}{rl}D({\mathbf{a}}^{\mathsf{T}}\mathbf{X})& ={\mathbf{a}}^{\mathsf{T}}\mathbf{\Sigma }\mathbf{a}\\ \mathrm{Cov}({\mathbf{a}}^{\mathsf{T}}\mathbf{X},{\mathbf{b}}^{\mathsf{T}}\mathbf{X})& ={\mathbf{a}}^{\mathsf{T}}\mathbf{\Sigma }\mathbf{b}\\ \mathrm{Cov}(A\mathbf{X})& =A\mathbf{\Sigma }{A}^{\mathsf{T}}.\end{array}$$
这样就把逐项展开许多 $\mathrm{Cov}(X_i,X_j)$的计算归结为一次矩阵乘法，它是处理多元线性组合的标准工具。