机器学习-白板推导 2 高斯分布

机器学习-白板推导 2 高斯分布

1. 从概率密度函数看高斯分布

高斯分布的pdf：

$$P(\mathbf{x}) = \frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}\operatorname{ exp }\left\{ -\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^T\Sigma^{-1}(\mathbf{x}-\mathbf{\mu}) \right\}$$

后面式子$-\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^T\Sigma^{-1}(\mathbf{x}-\mathbf{\mu})$是二次型，其中$\mathbf{x} \in \mathbb{R}^p$，是$p$维随机变量。

$$\begin{equation} \mathbf{x}= \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_p \end{pmatrix} \qquad \mathbf{u}= \begin{pmatrix} u_1 \\ u_2 \\ \vdots \\ u_p \end{pmatrix} \qquad \Sigma = \begin{pmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1p} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{p1} & \sigma_{p2} & \cdots & \sigma_{pp} \end{pmatrix} \end{equation}$$

通常来说$\Sigma$ 是半正定的(对称的)，这里假设其是正定的，$\lambda \gt 0$, 因为$\mathbf{x}$是自变量，所以这个$P(\mathbf{x})$只跟$(\mathbf{x}-\mathbf{\mu})^T\Sigma^{-1}(\mathbf{x}-\mathbf{\mu})$有关。这是个数，也叫马氏距离 ($\mathbf{x}$ 与 $\mathbf{\mu}$ 之间的距离)。

马氏距离

当$\Sigma = I$时，就是欧氏距离。

在高斯分布中，$(X-\mu)^T\Sigma^{-1}(X-\mu)$的计算结果是一个数，这个数被称为马氏距离。设$$z_1=(z_{11}, z_{12})^T$，$z_1=(z_{21}, z_{22})^T$。那么$z_1$和$z_2$之间的马氏距离为，

$$\begin{equation} (z_1-z_2)^T\Sigma^{-1}(z_1-z_2)= \begin{pmatrix} z_{11}-z_{12} & z_{21}-z_{22} \end{pmatrix} \Sigma^{-1} \begin{pmatrix} z_{11}-z_{12} \\ z_{21}-z_{22} \end{pmatrix} \end{equation}$$

显然，当$\Sigma^{-1}=I$时，马氏距离等于欧式距离$(z_1-z_2)^T\Sigma^{-1}(z_1-z_2)=(z_{11}-z_{12})^2+(z_{21}-z_{22})^2$。

对标准差进行特征分解

由于$\Sigma$为实对称矩阵，那么可以对$\Sigma$进行特征分解，那么有$\Sigma = U\Lambda U^T$，并且$UU^T=U^TU=I$，所以$U^{-1}=U^T$，$\Lambda=diag(\lambda_i)\quad(i=1,2,\cdots,N)$，并且$U=(U_1,U_2,\cdots,U_p)_{p\times p}$。

$$\begin{align} \Sigma = & U\Lambda U^T \\ = & (U_1,U_2,\cdots,U_p) \begin{pmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_p \\ \end{pmatrix} \begin{pmatrix} U_1^T \\ U_2^T \\ \vdots \\ U_p^T \\ \end{pmatrix} \\ = & (U_1\lambda_1,U_2\lambda_2,\cdots,U_p\lambda_p) \begin{pmatrix} U_1^T \\ U_2^T \\ \vdots \\ U_p^T \\ \end{pmatrix} \\ = & \sum_{i=1}^{p}U_i\lambda_i U_i^T \end{align}$$

而$\Sigma^{-1}$的求解过程如下所示：

$$\begin{equation} \Sigma^{-1} = (U \Lambda U^T)^{-1} = (U^T)^{-1} \Lambda^{-1} U^{-1} = U \Lambda^{-1} U^T \end{equation}$$

代入可以解得：

$$\begin{equation} \Sigma^{-1} = \sum_{i=1}^{p}U_i\frac{1}{\lambda_i} U_i^T \end{equation}$$

那么，

$$\begin{align} (X-\mu)^T\Sigma^{-1}(X-\mu) = & (X-\mu)^T\sum_{i=1}^{p}U_i\frac{1}{\lambda_i} U_i^T(X-\mu) \\ = & \sum_{i=1}^{p} (X-\mu)^TU_i\frac{1}{\lambda_i} U_i^T(X-\mu) \end{align}$$

令$y_i=(X-\mu)^TU_i$，这是一个典型的投影算法，其中$U_i$是特征值为$\lambda_i$的特征向量，那么

$$\begin{equation} (X-\mu)^T\Sigma^{-1}(X-\mu) = \sum_{i=1}^{p} y_i\frac{1}{\lambda_i} y_i^T \end{equation}$$

当$p = 2$时， 有：

$$\begin{align} \Delta = \frac{y_1^2}{\lambda_1} + \frac{y_2^2}{\lambda_2} \end{align}$$

每当 $\Delta$ 取不同值，椭圆就相当于对这一高度的等高线，也对应一个固定的概率值，若$\lambda_i=c$) (常量)时，图中椭圆便是一个圆。

具体如下面两图所示，高度是概率值的话，$0 \le P(\mathbf{x}) \le 1$ ,就是去不同概率值时切出一个个椭圆。图出自 [Machine Learning: a Probabilistic Perspective P48 Joint probability distributions ]

2. 高斯分布的局限性

来自 数学基础.pdf

$$\Sigma 要计算元素个数为\frac{(1+p)p}{2}，复杂度O(p^2)。$$

3. 已知联合概率求边缘概率及条件概率

高斯分布的一个定理：

$$若 \mathbf{x} \sim N(\mathbf{\mu}, \Sigma), \mathbf{y} = A\mathbf{x} + B,那么：\mathbf{y} \sim N(A\mathbf{\mu}+B, \ A\Sigma A^T)$$

证明:

$$E[y]=E[A x+B]=A E[x]+E[B]=A \mu+B \\ Var[y]=Var[A x+B]=Var[A x]+D[B]=A \ Var[x] A^{T}=A \Sigma A^{T}$$

假定多元高斯分布：

$$P(\mathbf{x}) = \frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}\operatorname{ exp }\left\{ -\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^T\Sigma^{-1}(\mathbf{x}-\mathbf{\mu}) \right\}$$

其中，

$$\begin{equation} \mathbf{x}= \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_p \end{pmatrix} \qquad \Sigma = \begin{pmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1p} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{p1} & \sigma_{p2} & \cdots & \sigma_{pp} \end{pmatrix}_{p\times p} \end{equation}$$

若已知联合概率密度求条件概率密度和边缘概率密度，可描述为已知：(就是将变量x分为两部分， $\mathbf{x}_a, 和\mathbf{x}_b$)

$$\begin{equation} X= \begin{pmatrix} x_a \\ x_b \end{pmatrix} \quad m+n=p \quad \mu= \begin{pmatrix} \mu_a \\ \mu_b \end{pmatrix} \quad \Sigma= \begin{pmatrix} \Sigma_{aa} & \Sigma_{ab} \\ \Sigma_{ba} & \Sigma_{bb} \end{pmatrix} \end{equation}$$

求：$P(x_a)$和$P(x_b|x_a)$

而

$$x_a=\begin{pmatrix}\mathbb{I}_{m\times m}&\mathbb{O}_{m\times n}\end{pmatrix}\begin{pmatrix}x_a\\x_b\end{pmatrix}$$

就是$y = Ax + B$这种形式，按照式3可以有：

$$\mathbb{E}[x_a]=\begin{pmatrix}\mathbb{I}&\mathbb{O}\end{pmatrix}\begin{pmatrix}\mu_a\\\mu_b\end{pmatrix}=\mu_a\\ Var[x_a]=\begin{pmatrix}\mathbb{I}&\mathbb{O}\end{pmatrix}\begin{pmatrix}\Sigma_{aa}&\Sigma_{ab}\\\Sigma_{ba}&\Sigma_{bb}\end{pmatrix}\begin{pmatrix}\mathbb{I}\\\mathbb{O}\end{pmatrix}=\Sigma_{aa}$$

同样地， $x_b\sim\mathcal{N}(\mu_b,\Sigma_{bb})$.

下面是最关键的3个构造式，(没有为什么，就是这样构造能解决问题，不然用PRML上配方法)。

$$x_{b\cdot a}=x_b-\Sigma_{ba}\Sigma_{aa}^{-1}x_a\\ \mu_{b\cdot a}=\mu_b-\Sigma_{ba}\Sigma_{aa}^{-1}\mu_a\\ \Sigma_{bb\cdot a}=\Sigma_{bb}-\Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab}$$

式5中最后一个式子叫$\Sigma_{bb}$舒尔补，补充下 舒尔补：

假设有分别属于$\mathbb{R}^n$以及’$\mathbb{R}^m$的随机列向量$\mathbf{x, y}$，并且$\mathbb{R}^{n+m}$中的向量对 $\mathbf{(x, y)}$具有多维正态分布，其方差矩阵是对称的正定矩阵

$$V=\left[\begin{matrix} A & B \\ B^T & C \end{matrix}\right].$$

那么’’X’’在’’Y’’给定时的[[条件方差]]是矩阵’’C’’在’’V’’中的舒尔补：

$$\operatorname{var}(X\mid Y) = A-BC^{-1}B^T.$$

由式5中第一个式子得到：

$$x_{b\cdot a}=\begin{pmatrix}-\Sigma_{ba}\Sigma_{aa}^{-1}&\mathbb{I}_{n\times n}\end{pmatrix}\begin{pmatrix}x_a\\x_b\end{pmatrix}$$

同样按照式3有：

$$\mathbb{E}[x_{b\cdot a}]=\begin{pmatrix}-\Sigma_{ba}\Sigma_{aa}^{-1}&\mathbb{I}_{n\times n}\end{pmatrix}\begin{pmatrix}\mu_a\\\mu_b\end{pmatrix}=\mu_{b\cdot a}\\ Var[x_{b\cdot a}]=\begin{pmatrix}-\Sigma_{ba}\Sigma_{aa}^{-1}&\mathbb{I}_{n\times n}\end{pmatrix}\begin{pmatrix}\Sigma_{aa}&\Sigma_{ab}\\\Sigma_{ba}&\Sigma_{bb}\end{pmatrix}\begin{pmatrix}-\Sigma_{aa}^{-1}\Sigma_{ba}^T\\\mathbb{I}_{n\times n}\end{pmatrix}=\Sigma_{bb\cdot a}$$

同样由式5中第一个式子得到 $x_b=x_{b\cdot a}+\Sigma_{ba}\Sigma_{aa}^{-1}x_a$， 在求条件概率$P(x_b|x_a)$时，$x_a$对于$x_b$可以看做是已知，因此：

$$\mathbb{E}[x_b|x_a]=\mu_{b\cdot a}+\Sigma_{ba}\Sigma_{aa}^{-1}x_a\\ Var[x_b|x_a]=\Sigma_{bb\cdot a}$$

同理可得：

$$\mathbb{E}[x_a|x_b]=\mu_{a\cdot b}+\Sigma_{ab}\Sigma_{bb}^{-1}x_b\\ Var[x_a|x_b]=\Sigma_{aa\cdot b}$$

即：$P(x_b|x_a) \sim \mathcal{N}( \mathbf{\mu_{b\cdot a}} + \Sigma_{ba}\Sigma_{aa}^{-1}x_a, \Sigma_{bb\cdot a}) = \mathcal{N}(\mu_b+\Sigma_{ba}\Sigma_{aa}^{-1}(x_a-\mu_a), \Sigma_{bb}-\Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab})$。同理可得 $P(x_a|x_b)$

4. 求联合概率分布

上面是已知联合概率分布求条件概率分布和边缘概率分布。

而下面内容是：

已知：

• $P(x) = \mathcal{N} (\mu, \Lambda^{-1})$, 这里 $\Lambda^{-1}$ 是精度矩阵，就是协方差矩阵的导数 $\text{precision matrix}$，详见PRML中文版P68.只是为了计算，写成这样。
• $$P(y|x) = \mathcal{N} (Ax+b, L^{-1})$$

求：$P(y), P(x|y)$

证明：

假设$y=Ax+b+\epsilon, 其中\ \epsilon\sim\mathcal{N}(0,L^{-1})$, 这里$x, y, \epsilon都是随机变量，且 \epsilon \perp x(独立)$。

1. 求解$P(y)$

   $$\begin{align} &\mathbb{E}[y]=\mathbb{E}[Ax+b+\epsilon]=A\mu+b \\ &Var[y] = Var[Ax+b+\epsilon] = Var[Ax+b] + L^{-1} = A\Lambda^{-1}A^T+L^{-1} \end{align}$$

   所以$y \sim \mathcal{N}(A\mu+b， A\Lambda^{-1}A^T+L^{-1})$

2. 求解 $P(x|y)$

先引入一个变量$z = \begin{pmatrix} x \\ y \end{pmatrix}$

那么可得：

$$\begin{equation} z= \begin{pmatrix} x \\ y \end{pmatrix} \sim \mathcal{N} \left( \begin{pmatrix} \mu \\ A\mu + b \\ \end{pmatrix} \quad \begin{pmatrix} \Lambda^{-1} & \Delta \\ \Delta & A\Lambda^{-1}A^T +L^{-1} \\ \end{pmatrix} \right) \end{equation}$$

这里:

$$\begin{align} \Delta = \text{Conv}(x, y)= & \mathbb{E}[(x-\mu)(Ax-A\mu)^T] \\ = & \mathbb{E}[(x-\mu)(x-\mu)^T]\cdot A^T \\ = & Var[x]\cdot A^T \\ = & \Lambda^{-1} A^T \end{align}$$

5. Jensen’s Inequality

Jensen’s Inequality 是在给定$f(x)$是凸函数的条件下，过凸函数上任意两点所作割线一定在两点函数图像上方，即对于$t \in [a, b]$, 有：

$$tf(a)+(1-t)f(b)\geq f\left(ta+(1-t)b \right),\ 0\leq t\leq 1.$$

如下图所示，

在概率论中，其中$L(x)$是该点的切线，设其为$L(x) = ax+b$有

$$\begin{align} \mathbb{E}[f(x)]\geq & \mathbb{E}[L(x)] \\ = & \mathbb{E}[a\mathbb{E}[x]+b] \\ = & a\mathbb{E}[x] + b \\ = & f(\mathbb{E}[x]) \\ \end{align}$$

Inference

[1] 特征值分解

[2] 高斯分布

[3] 高斯分布|机器学习推导系列（二）