方差

在统计学中，方差是用来度量单个随机变量的离散程度。越小则说明数据越接近。

$$ \sigma _x^2=\frac{1}{n-1}\sum_{i=1}^n{\left( x_i-\bar{x} \right) ^2} $$

其中，$n$表示样本量，符号$\bar{x}$表示观测样本的均值.

协方差

协方差则一般用来刻画两个随机变量的相关程度。

$$ cov \left( x,y \right) =\frac{1}{n-1}\sum_{i=1}^n{\left( x_i-\bar{x} \right)}\left( y_i-\bar{y} \right) $$

可以看出，方差是协方差的一种特殊形式，当另一个随机变量为自身时，协方差就表现为方差。

协方差矩阵

给定$m$个随机变量$x_k,k=1,2...,m$,每个随机变量有n个样本，则这些随机变量他们两两之间的协方差为

$$ cov \left( x_a,x_b \right) =\frac{1}{n-1}\sum_{i=1}^n{\left( x_{ai}-\bar{x}_a \right)}\left( x_{bi}-\bar{x}_b \right) $$

因此协方差矩阵为

$$ \left[ \begin{matrix} cov \left( x_1,x_1 \right)& \cdots& cov \left( x_1,x_m \right)\\ \vdots& \ddots& \vdots\\ cov \left( x_m,x_1 \right)& \cdots& cov \left( x_m,x_m \right)\\ \end{matrix} \right] $$

其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，观察矩阵也可以看出：协方差矩阵是对称矩阵，其大小为$m\times m$