我们的核心假设是：观测数据来源于一个潜在的概率分布。让我们从回顾一些基本概念开始。

在统计物理学中

$$\rho (p,q) = \frac{\exp(-E(p,q))}{Z}$$

$p, q$ 分别是动量和位置变量。$Z$ 是配分函数。著名的模型包括 Ising 模型等。机器学习的许多见解来源于物理学。

可以拿线性变换举例子。设

$$X \sim \text{Uniform}(0, 1):\quad p_X(x) = 1,\ \forall 0<x<1$$

定义 $Y = 2X + 5$，则有变换

$$y=f(x)=2x+5$$

这是一个对应，并且容易得到 $y$ 的支持域为 $5<y<7$。现在引用上述结论

$$p_Y(y)=p_X\left(\frac{y-5}{2}\right) \cdot \left| \frac{\mathrm d \left(\frac{y-5}{2}\right)}{\mathrm d y}\right| = 1 \cdot \frac{1}{2} = \frac{1}{2},\quad \forall 5<y<7$$

从而

$$Y \sim \text{Uniform}(5, 7)$$

例如，设随机变量 $X$ 服从均匀分布 $X \sim \text{Uniform}(-1, 1)$，定义 $Y = X^2$。则有

$$\mathbb E[X] = 0,\quad \mathbb E[Y] = \mathbb E[X^2] = \int_{-1}^{1} x^2 \cdot \frac{1}{2} \, \mathrm dx = \frac{1}{3}$$

说明 $X,Y$ 不独立，但不相关。

例如，对于六面骰子，定义随机变量 $X$ 表示骰子的点数，则它是在值域上均匀分布的离散随机变量，熵为

$$H(X) = - \sum_{i=1}^{6} \frac 16 \log \frac 16 = \log 6 \approx 2.585\ \text{bits}$$

熵为 $2.585$ 比特，表示每次掷骰子平均需要 $2.585$ 比特的信息量来编码结果。这说明骰子的结果具有较高的不确定性。如果骰子是偏的，比如点数 $6$ 出现的概率为 $0.5$，其他点数均为 $0.1$，则熵为

$$H(X) = - \left(0.5 \log 0.5 + 5 \times 0.1 \log 0.1\right) \approx 2.161\ \text{bits}$$

熵降低到 $2.161$ 比特，说明结果的不确定性降低了。

例如，投掷一枚公平的硬币两次，定义随机变量 $X$ 和 $Y$ 分别表示第一次和第二次投掷的结果（正面或反面）。则联合概率分布为

$$P(H,H)=P(H,T)=P(T,H)=P(T,T)=\frac{1}{4}$$

联合熵为

$$H(X,Y) = - \sum_{x \in \{H,T\}} \sum_{y \in \{H,T\}} P(x,y) \log P(x,y) = - 4 \times \frac{1}{4} \log \frac{1}{4} = 2\ \text{bits}$$

这表示两次投掷的结果总共有 $2$ 比特的信息量，符合直觉。

对于一维随机变量 $X,Y$，如果 $Y$ 完全决定 $X$，则 $P(x|y)=1$，条件熵

$$H(X|Y) = - \int \int P(x,y) \log 1 \, \mathrm dx \, \mathrm dy = 0$$

这表示在知道 $Y$ 的情况下，$X$ 没有任何不确定性。如果 $X$ 和 $Y$ 独立，则条件熵

$$H(X|Y) = H(X)$$

这表示知道 $Y$ 并没有减少对 $X$ 的不确定性。

这完全是基于条件概率的乘积法则

$$P(x_1, x_2, \ldots, x_n) = P(x_1) \, P(x_2|x_1) \, P(x_3|x_1, x_2) \cdots P(x_n|x_1, x_2, \ldots, x_{n-1})$$

例如，如果已知

$$H(X)=1\ \text{bit},\quad H(Y|X)=0.5\ \text{bits}$$

那么联合熵为

$$H(X,Y) = H(X) + H(Y|X) = 1 + 0.5 = 1.5\ \text{bits}$$

Binary Symmetric Channel (BSC)，即二进制对称信道，指的是在传输过程中每个比特有一定概率被翻转的信道。设输入随机变量 $X$ 和输出随机变量 $Y$，它们的取值均为 $\{0, 1\}$，则可以表述为

$$P(Y|X)=\begin{bmatrix}1-\varepsilon & \varepsilon \\ \varepsilon & 1-\varepsilon\end{bmatrix}$$

其中 $\varepsilon$ 是比特翻转的概率。换言之，上述矩阵说明了输入和输出的条件概率关系：

$$\begin{cases} P(Y=0|X=0) =P(Y=1|X=1) = 1-\varepsilon \\[6pt] P(Y=1|X=0) =P(Y=0|X=1) = \varepsilon \end{cases}$$

假设输入 $X$ 是均匀分布的，即 $P(X=0) = P(X=1) = 0.5$，则输出 $Y$ 的边缘概率为

$$\begin{array}{ll} P(Y=0) &= P(Y=0|X=0)P(X=0) + P(Y=0|X=1)P(X=1) \\[6pt] &= (1-\varepsilon) \cdot 0.5 + \varepsilon \cdot 0.5 = 0.5 \end{array}$$

同理，$P(Y=1) = 0.5$。因此，输出 $Y$ 也是均匀分布的。现在我们可以计算互信息 $I(X;Y)$：

$$I(X;Y)=H(X)-H(X|Y)=1 - H(X|Y)=1+(1-\varepsilon) \log (1-\varepsilon) + \varepsilon \log \varepsilon$$

这表示在 BSC 信道中，输入和输出之间的互信息取决于比特翻转概率 $\varepsilon$。当 $\varepsilon=0$ 时，互信息达到最大值 $1$ 比特，表示没有信息损失；当 $\varepsilon=0.5$ 时，互信息为 $0$，表示输出完全不包含输入的信息，即输出是完全随机的，没有任何可用的信息。

例如，设 $P$ 和 $Q$ 是两个一维正态分布，分别为

$$P \sim \mathcal{N}(\mu_1, \sigma_1^2);\quad Q \sim \mathcal{N}(\mu_2, \sigma_2^2)$$

回忆一下正态分布的概率密度函数

$$p(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$$

则 KL 散度为

$$D_{\mathrm{KL}}(P \| Q) = \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2-\sigma_2^2 + (\mu_1 - \mu_2)^2}{2\sigma_2^2}\log e$$

这表示两个正态分布之间的差异取决于它们的均值和方差的差异。而且通常

$$D_{\mathrm{KL}}(Q \| P) \neq D_{\mathrm{KL}}(P \| Q)$$

只需要注意到对数函数是凹函数，然后应用 Jensen 不等式即可证明

$$-D_{\mathrm{KL}}(P \| Q) = \int P(x) \log \frac{Q(x)}{P(x)} \, \mathrm dx \leq \log \int P(x) \frac{Q(x)}{P(x)} \, \mathrm dx = \log 1 = 0$$

还有一种方法是用对数不等式

$$\log x \leq x - 1,\quad \forall x > 0$$

从而

$$\log \dfrac {Q(x)}{P(x)} \leq \dfrac {Q(x)}{P(x)} - 1$$

两边乘以 $P(x)$ 并积分，得到

$$\int P(x) \log \dfrac {Q(x)}{P(x)} \, \mathrm dx \leq \int (Q(x) - P(x)) \, \mathrm dx = 0$$

充分性是显然的。必要性需要分情况讨论：由于 $P,Q$ 是概率分布，所以是可测函数，定义如下可测集合构成全集的划分：

$$A = \{x | P(x) > Q(x)\},\quad B = \{x | P(x) < Q(x)\},\quad C = \{x | P(x) = Q(x)\}$$

所以

$$\begin{array}{ll}D_{\mathrm{KL}}(P \| Q) &=\displaystyle \int_A P(x) \log \frac{P(x)}{Q(x)} \, \mathrm dx + \int_B P(x) \log \frac{P(x)}{Q(x)} \, \mathrm dx + \int_C P(x) \log \frac{P(x)}{Q(x)} \, \mathrm dx \\ \\ &=\displaystyle \int_A P(x) \log \frac{P(x)}{Q(x)} \, \mathrm dx + \int_B P(x) \log \frac{P(x)}{Q(x)} \, \mathrm dx\\ \\ &\geq 0+ 0 = 0\end{array}$$

第一项的放缩基于恒为正，第二项的放缩基于 Gibbs 不等式。因此，若 $D_{\mathrm{KL}}(P \| Q) = 0$，则必须有 $\mu(A)=\mu(B)=0$，即 $P(x) = Q(x)$ 几乎处处成立。

另外一方面，如果用对数不等式证明，则考虑其取等条件，必须有

$$\frac{Q(x)}{P(x)} = 1,\quad \text{a.e.}$$

例如，设 $(x,y)$ 对应一个离散分布 $P(x,y)$

$$P(0,1)=P(1,0)=P(1,1)=P(0,0)=0.25$$

也可以对应另一个离散分布 $Q(x,y)$

$$Q(0,0)=0.5,\quad Q(0,1)=Q(1,0)=0.2,\quad Q(1,1)=0.1$$

则 KL 散度为

$$\begin{array}{ll}D_{\mathrm{KL}}(P \| Q) &=\displaystyle \sum_{x,y} P(x,y) \log \frac{P(x,y)}{Q(x,y)} \\ \\ &\displaystyle= 0.25 \log \frac{0.25}{0.2} + 0.25 \log \frac{0.25}{0.2} + 0.25 \log \frac{0.25}{0.1} + 0.25 \log \frac{0.25}{0.5} \\ \\ &\approx 0.2414\ \text{bits}\end{array}$$

证明需要用到 KL 散度的非负性。设 $p(x)$ 是任意满足均值和方差约束的概率分布，$q(x) = \mathcal{N}(\mu, \sigma^2)$ 是对应的 Gaussian 分布，则

$$D_{\mathrm{KL}}(p \| q) = \int p(x) \log \frac{p(x)}{q(x)} \, \mathrm dx = -H(p) - \int p(x) \log q(x) \, \mathrm dx \geq 0$$

这样确定了 $H(p)$ 的上界，接着计算

$$\begin{array}{ll} \displaystyle\int p(x) \log q(x) \, \mathrm dx &=\displaystyle \int p(x) \log \left( \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \right) \, \mathrm dx \\ \\ &=\displaystyle \int p(x) \left( -\frac{1}{2} \log (2\pi \sigma^2) - \frac{(x-\mu)^2}{2\sigma^2} \right) \, \mathrm dx \\ \\ &=\displaystyle -\frac{1}{2} \log (2\pi \sigma^2) - \frac{1}{2\sigma^2} \int p(x) (x-\mu)^2 \, \mathrm dx \\ \\ &=\displaystyle -\frac{1}{2} \log (2\pi \sigma^2) - \frac{1}{2\sigma^2} \sigma^2 \\ \\ &=\displaystyle -\frac{1}{2} \log (2\pi \sigma^2) - \frac{1}{2}\end{array}$$

而最终的式子正是 $-H(\mathcal{N}(\mu, \sigma^2))$，从而得证。

我们可以将多元 Gaussian 分布拆成两个部分来理解。对于 $p$ 维随机变量 $\pmb X$ 和 $q$ 维随机变量 $\pmb Y$，可以定义新的联合随机变量 $\pmb Z = [\pmb X^T, \pmb Y^T]^T$，其均值向量和协方差矩阵分别为

$$\pmb \mu_Z = \begin{bmatrix} \pmb \mu_X \\ \pmb \mu_Y \end{bmatrix},\quad \Sigma_Z = \begin{bmatrix} \Sigma_{XX} & \Sigma_{XY} \\ \Sigma_{YX} & \Sigma_{YY} \end{bmatrix}$$

其中 $\Sigma_{XX}$ 和 $\Sigma_{YY}$ 分别是 $\pmb X$ 和 $\pmb Y$ 的协方差矩阵，$\Sigma_{XY}$ 是 $\pmb X$ 和 $\pmb Y$ 之间的协方差矩阵。

直接计算即可证明，先写出联合分布的概率密度函数

$$p(\pmb x, \pmb y) = \dfrac{1}{(2\pi)^{(p+q)/2} |\Sigma_Z|^{1/2}} \exp\left(-\frac{1}{2} \begin{bmatrix} \pmb x - \pmb \mu_X \\ \pmb y - \pmb \mu_Y \end{bmatrix}^T \Sigma_Z^{-1} \begin{bmatrix} \pmb x - \pmb \mu_X \\ \pmb y - \pmb \mu_Y \end{bmatrix}\right)$$

然后对 $\pmb y$ 积分，得到边缘分布 $p(\pmb x)$

$$p(\pmb x) = \int p(\pmb x, \pmb y) \, \mathrm d\pmb y= \frac{1}{(2\pi)^{p/2} |\Sigma_{XX}|^{1/2}} \exp\left(-\frac{1}{2} (\pmb x - \pmb \mu_X)^T \Sigma_{XX}^{-1} (\pmb x - \pmb \mu_X)\right)$$

其中，根据正定性可以计算行列式

$$|\Sigma_Z| = |\Sigma_{XX}| \cdot |\Sigma_{YY}-\Sigma_{YX} \Sigma_{XX}^{-1} \Sigma_{XY}|= |\Sigma_{XX}| \cdot |\Sigma_{Y|X}|$$

其中 $\Sigma_{Y|X}$ 称为 Schur 补，此外

$$\Sigma_Z^{-1} = \begin{bmatrix} \Sigma_{XX}^{-1} + \Sigma_{XX}^{-1} \Sigma_{XY} \Sigma_{Y|X}^{-1} \Sigma_{YX} \Sigma_{XX}^{-1} & -\Sigma_{XX}^{-1} \Sigma_{XY} \Sigma_{Y|X}^{-1} \\ \\ -\Sigma_{Y|X}^{-1} \Sigma_{YX} \Sigma_{XX}^{-1} & \Sigma_{Y|X}^{-1} \end{bmatrix}$$

在联合分布的指数部分代入上述结果，不妨设 $\Sigma_Z^{-1}$ 的分块为 $M_{ij}$，$\pmb x-\pmb \mu_X = \pmb a$，$\pmb y - \pmb \mu_Y = \pmb b$，则指数部分主要可以写为

$$\pmb a^T M_{11} \pmb a + 2 \pmb a^T M_{12} \pmb b + \pmb b^T M_{22} \pmb b$$

由于要对 $\pmb y$ 积分，所以只需要关注含有 $\pmb b$ 的部分，可以补全平方

$$\pmb b^T M_{22} \pmb b + 2 \pmb a^T M_{12} \pmb b = (\pmb b + M_{22}^{-1} M_{21} \pmb a)^T M_{22} (\pmb b + M_{22}^{-1} M_{21} \pmb a) - \pmb a^T M_{12} M_{22}^{-1} M_{21} \pmb a$$

我们把上式的最后一项和 $\pmb a^T M_{11} \pmb a$ 合并，得到

$$\pmb a^T (M_{11} - M_{12} M_{22}^{-1} M_{21}) \pmb a = \pmb a^T \Sigma_{XX}^{-1} \pmb a$$

因此，积分变为

$$\begin{array}{ll} p(\pmb x) &= \displaystyle \int \frac{\exp\left(-\frac{1}{2} \left[ (\pmb b + M_{22}^{-1} M_{21} \pmb a)^T M_{22} (\pmb b + M_{22}^{-1} M_{21} \pmb a) + \pmb a^T \Sigma_{XX}^{-1} \pmb a \right] \right) \,}{(2\pi)^{(p+q)/2} |\Sigma_Z|^{1/2}} \mathrm d\pmb b \\ \\ &=\displaystyle\dfrac {\exp\left(-\frac{1}{2} \pmb a^T \Sigma_{XX}^{-1} \pmb a \right)}{(2\pi)^{p/2} |\Sigma_{XX}|^{1/2}} \cdot \int \dfrac{\exp\left(-\frac{1}{2} (\pmb b + M_{22}^{-1} M_{21} \pmb a)^T M_{22} (\pmb b + M_{22}^{-1} M_{21} \pmb a) \right)}{(2\pi)^{q/2} |\Sigma_{Y|X}|^{1/2}} \, \mathrm d\pmb b \\ \\ &=\displaystyle\dfrac 1{(2\pi)^{p/2} |\Sigma_{XX}|^{1/2}} \exp\left(-\frac{1}{2} (\pmb x - \pmb \mu_X)^T \Sigma_{XX}^{-1} (\pmb x - \pmb \mu_X)\right)\end{array}$$

中间积分的一步，因为 $\pmb b=\pmb y - \pmb {\mu}_Y$，所以

$$\pmb u=\pmb b + M_{22}^{-1} M_{21} \pmb a= \pmb y - \left( \pmb \mu_Y - \Sigma_{YX} \Sigma_{XX}^{-1} (\pmb x - \pmb \mu_X) \right)$$

因此对 $\pmb b$ 的积分等价于对 $\pmb y$ 积分（差一个常数向量 $\pmb {\mu}_Y$），等价于对 $\pmb u$ 积分，因为 Jacobian 为 $I$（注意 $\Sigma$ 协方差阵是一个常数矩阵）。

根据定义

$$p(\pmb x | \pmb y) = \frac{p(\pmb x, \pmb y)}{p(\pmb y)}= \dfrac {\displaystyle \frac{1}{(2\pi)^{(p+q)/2} |\Sigma_Z|^{1/2}} \exp\left(-\frac{1}{2} \begin{bmatrix} \pmb x - \pmb \mu_X \\ \pmb y - \pmb \mu_Y \end{bmatrix}^ T \Sigma_Z^{-1} \begin{bmatrix} \pmb x - \pmb \mu_X \\ \pmb y - \pmb \mu_Y \end{bmatrix}\right)}{\displaystyle \frac{1}{(2\pi)^{q/2} |\Sigma_{YY}|^{1/2}} \exp\left(-\frac{1}{2} (\pmb y - \pmb \mu_Y)^T \Sigma_{YY}^{-1} (\pmb y - \pmb \mu_Y)\right)}$$

即可得到。

此外，特别地，如果 $\Sigma_{XY} = 0$，即 $\pmb X$ 和 $\pmb Y$ 独立，则条件分布简化为

$$\pmb X | \pmb Y \sim \mathcal{N}(\pmb \mu_X, \Sigma_{XX})$$

这表明在独立的情况下，$\pmb Y$ 对 $\pmb X$ 没有任何影响，条件分布与边缘分布相同。

独热编码是将分类变量转换为二进制向量的表示方法。在这种表示中，每个类别对应一个唯一的位置，且该位置上的值为 $1$，其他位置上的值为 $0$。例如，假设有三个类别：红色、绿色和蓝色，可以将它们表示为以下独热编码向量：

• 红色：$[1, 0, 0]$
• 绿色：$[0, 1, 0]$
• 蓝色：$[0, 0, 1]$

同理对于 $k$ 个类别，可以使用长度为 $k$ 的向量来表示每个类别。

除了 Gaussian 分布之外，还有许多其他高维分布，我们引入以下模型。

例如，$X_1,\ldots,X_{10}$ 代表掷 10 次公平骰子的结果，则它们同分布，而且

$$P(X_i = m, X_j = n) = P(X_i = m) \cdot P(X_j = n) = \dfrac 1{36},\quad \forall i \neq j,\ m,n \in \{1,2,3,4,5,6\}$$

这说明每次掷骰子的结果不会影响其他次的结果，是独立的。

我们之前介绍的概率模型大多是基于独立同分布假设的，然而，许多现实世界的应用违背了这种独立性假设，比如

• 自然语言
• 音频信号
• 其他序列化或结构化数据

在这些情况下，观测值之间存在依赖关系，使得独立同分布假设不再适用。

Markov 链是一种特殊的图模型。首先，Markov 性质定义为

$$P(X_{n+1} | X_n, X_{n-1}, \ldots, X_1) = P(X_{n+1} | X_n)$$

这意味着给定当前状态 $X_n$，未来状态 $X_{n+1}$ 的概率分布只依赖于当前状态，而与过去的状态无关。基于 Markov 性质，可以构建对应的 Bayes 网络，节点表示系统在不同时间点的状态，边表示状态之间的转移关系。图直接编码了状态转移的条件依赖关系，是直观的表示方法

$$P(X_1, X_2, \ldots, X_n) = P(X_1) \prod_{i=2}^{n} P(X_i | X_{i-1})$$

隐 Markov 模型是 Markov 链的扩展，假设观测数据是由隐藏的状态序列生成的。HMM 包含两个主要部分：

其中，第一层 $\{Z_i\}$ 是隐藏的状态序列，构成 Markov 链，第二层 $\{A_i\}$ 是观测数据序列，每个观测值 $A_i$ 仅依赖于对应的隐藏状态 $Z_i$，对应的条件概率为 $P(A_i | Z_i)$，称为发射概率。HMM 的联合概率分布可以写成

$$P(Z_1, Z_2, \ldots, Z_n, A_1, A_2, \ldots, A_n) = P(Z_1) \prod_{i=2}^{n} P(Z_i | Z_{i-1}) \prod_{i=1}^{n} P(A_i | Z_i)$$

HMM 广泛应用于语音识别、自然语言处理和生物信息学等领域。

图可以编码独立性，概率图模型可以不用计算就能判断变量之间的独立性关系。在 Bayes 网络中，判断独立性可以使用 d - 分离准则。具体地，有三类基本结构
！-- tikzjax-placeholder-7597f082b2ad005b845a222e11392bca --

这些结构分别称为链、分支（叉） 和汇聚（碰）。称一条路径在给定变量集 $Z$ 条件下被阻断或不活跃，当且仅当

• 链或分支结构中间节点在 $Z$ 中。
• 汇聚结构中间节点不在 $Z$ 中，且其所有后代节点也不在 $Z$ 中。

d - 分离准则指出，如果所有从变量 $X$ 到变量 $Y$ 的路径在给定变量集 $Z$ 条件下都被阻断，则称 $X$ 和 $Y$ 在给定 $Z$ 条件下是条件独立的，记为 $(X \perp Y | Z)$。具体可以如下操作

• 找到所有从 $X$ 到 $Y$ 的无向路径。
• 检查每条路径是否被 $Z$ 阻断。
• 如果所有路径都被阻断，则 $X$ 和 $Y$ 条件独立。