矩与协方差矩阵

定义（矩的各种形式，$k,l$ 为正整数）：
① $k$ 阶原点矩：$E(X^k)$，期望是一阶原点矩；
② $k$ 阶中心矩：$E\{[X-E(X){]}^k\}$，方差是二阶中心矩；
③ $k+l$ 阶混合矩：$E\left(X^k{Y}^l\right)$，$E(XY)$ 是二阶混合原点矩；
④ $k+l$ 阶混合中心矩：$E\{[X-E(X){]}^k[Y-E(Y){]}^l\}$，协方差 $\mathrm{Cov}(X,Y)$ 就是 $k=l=1$ 时的二阶混合中心矩。
可见期望、方差、协方差都是矩这一概念下的不同情形（原点矩与中心矩的互化见下一条）。

定义（协方差矩阵）：设 $n$ 维随机向量 $\mathbf{X}=(X_1,\dots ,X_n{)}^{\mathsf{T}}$ 的各二阶矩都存在，记 $\mathbf{\mu }=E(\mathbf{X})$（逐分量取期望）。称
$$\begin{array}{rl}\mathbf{\Sigma }& =E[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^{\mathsf{T}}]=(c_{ij}{)}_{n\times n}\\ c_{ij}& =\mathrm{Cov}(X_i,X_j)\end{array}$$
为 $\mathbf{X}$ 的协方差矩阵：主对角线上是方差 $c_{ii}=D(X_i)$，其余位置上是协方差。

两条基本性质：① 对称性：$c_{ij}=c_{ji}$；② 非负定性：对任意常向量 $\mathbf{a}\in {\mathbb{R}}^n$ 有 ${\mathbf{a}}^{\mathsf{T}}\mathbf{\Sigma }\mathbf{a}\ge 0$，而它恰好是线性组合的方差 $D(a_1{X}_1+\cdots +a_n{X}_n)$，方差当然非负（几何意义与相容性的解释见后面各条）。

基本例子：二维正态 $N({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho )$ 的协方差矩阵为 $\mathbf{\Sigma }=\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$；二维正态密度中的 ${\mathbf{\Sigma }}^{-1}$ 与 $\det \mathbf{\Sigma }$ 都来自这个定义。

原点矩 ${\mu }_k=E(X^k)$ 便于计算（直接对 $X^k$ 取期望），中心矩 ${\nu }_k=E[(X-\mu {)}^k]$ 便于解释（它描述分布绕中心的形状），二者可用二项展开互化。最常用的有两条：${\nu }_2={\mu }_2-{\mu }_1^2$（就是方差 $=E(X^2)-[E(X){]}^2$），${\nu }_3={\mu }_3-3{\mu }_1{\mu }_2+2{\mu }_1^3$。中心矩的意义随阶数而递进：${\nu }_2$ 刻画离散程度，${\nu }_3$ 刻画偏斜（${\nu }_3>0$ 右偏、$<0$ 左偏、对称分布 ${\nu }_3=0$），四阶中心矩刻画峰的尖平。由此可见，期望与方差只是这一族形状特征中最低的两个。

$\mathbf{\Sigma }$ 非负定这一条件看起来抽象，其实它就是任何线性组合的方差都非负这一事实的矩阵形式，而且它对相关系数施加了严格的相容性约束。在二维情形，由 $\det \mathbf{\Sigma }\ge 0$ 直接给出 $|\rho |\le 1$；在三维及三维以上的情形，相关系数就不能随意取值，它们必须使整个相关矩阵非负定。于是得到一个与直觉相违的结论：三个变量两两之间的相关系数不可能同时取很负的值。这类利用非负定性限定相关系数范围的题目，把概率论与线性代数中的二次型、特征值联系在一起，是二者结合的典型考点。

协方差矩阵只保证非负定，未必正定。那么它何时退化（即奇异、$\det =0$、不可逆）呢？当且仅当随机向量的各分量之间存在一个非平凡的线性关系，也就是随机点以概率 $1$ 落在某个低维超平面上。由此可以解释：在主成分分析中，某个方向上的方差为 $0$ 时该方向可以舍去；对于正态分布，若 $\mathbf{\Sigma }$ 奇异则密度不存在，分布是退化的。题目中问 $\mathbf{\Sigma }$ 是否可逆，实际上就是在问这些变量之间是否线性相关。

有了协方差矩阵 $\mathbf{\Sigma }$，一切线性组合的二阶数字特征都可以用一个二次型或双线性型统一算出：
$$\begin{array}{rl}D({\mathbf{a}}^{\mathsf{T}}\mathbf{X})& ={\mathbf{a}}^{\mathsf{T}}\mathbf{\Sigma }\mathbf{a}\\ \mathrm{Cov}({\mathbf{a}}^{\mathsf{T}}\mathbf{X},{\mathbf{b}}^{\mathsf{T}}\mathbf{X})& ={\mathbf{a}}^{\mathsf{T}}\mathbf{\Sigma }\mathbf{b}\\ \mathrm{Cov}(A\mathbf{X})& =A\mathbf{\Sigma }{A}^{\mathsf{T}}.\end{array}$$
它把逐项展开时出现的许多 $\mathrm{Cov}(X_i,X_j)$ 归结为一次矩阵乘法，是处理多元线性组合的标准工具。