半监督学习、GAN、VAE 与变分推断

本笔记可以作为华为AI认证考试的相关章节复习资料。由GPT辅助生成

阅读时建议始终问三件事：这个式子在描述什么？为什么这样写？优化时希望它变大还是变小？

1. 一张图先串起整门内容

这部分内容其实围绕一个共同问题展开：数据不完整、标签不充分，或者模型中存在看不见的变量时，怎样构造一个能训练的目标函数？

半监督学习从“少量标签 + 大量无标签数据”出发；GAN 用对抗训练学习数据分布；CatGAN 把熵和互信息引入分类；MLE 从概率角度解释“什么参数最能解释数据”；EM 处理隐变量导致的难优化问题；变分推断进一步用可计算的分布近似难算的后验；VAE 最后把这些思想放进神经网络，用 ELBO 和重参数化实现端到端训练。

可以把主线记成：

概率基础 → 熵 / KL / JS → MLE → Jensen → EM → 变分推断 / ELBO → VAE → 半监督与一致性方法

2. 数学基础：后面的公式基本都从这里长出来

2.1 求和、平均与连乘

求和：

math

\sum_{i=1}^{N} a_i
=
a_1+a_2+\cdots+a_N

变量解释：

$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

平均：

实例： 假设三次测验成绩分别是 70、80、90，那么求和就是 $‘ 70 + 80 + 90 = 240 ‘$ 。这里的求和符号只是把“把每一项加起来”写得更紧凑。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\bar a
=
\frac{1}{N}\sum_{i=1}^{N}a_i

变量解释：

$‘ \bar{a} ‘$ ：样本 $‘ a_{1}, \dots, a_{N} ‘$ 的算术平均。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

连乘：

实例： 假设三次测验成绩分别是 70、80、90，那么求和就是 $‘ 70 + 80 + 90 = 240 ‘$ 。这里的求和符号只是把“把每一项加起来”写得更紧凑。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\prod_{i=1}^{N}a_i
=
a_1a_2\cdots a_N

变量解释：

$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

概率模型里经常出现连乘，是因为独立样本的联合概率可以分解成每个样本概率的乘积。

实例： 如果三个独立事件发生的概率分别是 0.8、0.5、0.25，那么它们同时发生的概率可写成 $‘ 0.8 \times 0.5 \times 0.25 = 0.1 ‘$ 。连乘符号就是把这种连续相乘压缩成一行。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

2.2 对数：把乘法变成加法

最重要的性质是：

math

\log(ab)=\log a+\log b

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

因此：

实例： 例如 $‘ a = 10, b = 100 ‘$ ，以 10 为底时， $‘ \log (10 \times 100) = 3 ‘$ ，而 $‘ \log 10 + \log 100 = 1 + 2 = 3 ‘$ 。概率模型正是利用这一点把很多概率的乘法变成加法。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

\log\left(\prod_{i=1}^{N}a_i\right)
=
\sum_{i=1}^{N}\log a_i

变量解释：

$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

这正是似然函数通常要取对数的原因：一方面避免大量小概率相乘造成数值下溢，另一方面求导也更方便。

因为对数函数单调递增，所以：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\mathop{\mathrm{arg\,max}}_{\theta}L(\theta)
=
\mathop{\mathrm{arg\,max}}_{\theta}\log L(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

也就是说，最大化似然和最大化对数似然得到的是同一组最优参数。

实例： 可以代入一个简单概率检查它的方向。例如概率从 0.2 提高到 0.8 时， $‘ \log p ‘$ 会增大，而 $‘ - \log p ‘$ 会减小；这能帮助判断目标到底是在奖励还是惩罚模型。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

2.3 概率、联合概率与条件概率

离散概率分布满足：

math

\sum_x p(x)=1

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

连续概率密度满足：

实例： 可以先把求和符号展开成几项来看。例如 $‘ N = 3 ‘$ 时， $‘ \sum_{i = 1}^{3} a_{i} ‘$ 就是 $‘ a_{1} + a_{2} + a_{3} ‘$ ；代入具体数字后再按普通算术计算即可。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\int_{-\infty}^{\infty}p(x)\,dx=1

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

条件概率定义为：

实例： 读这个式子时，可以先把左边当作“要计算的量”，再按照右边从内到外计算。遇到下标时把它看成第几个样本或第几个维度，遇到求和 / 期望时再把多个结果汇总。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

p(z\mid x)
=
\frac{p(x,z)}{p(x)}

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

于是联合概率可以写成：

实例： 把 $‘ x ‘$ 想成“检测结果为阳性”， $‘ z ‘$ 想成“实际患病”。 $‘ p (z ∣ x) ‘$ 问的是：已经看到阳性结果后，实际患病的概率是多少。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

p(x,z)
=
p(z\mid x)p(x)
=
p(x\mid z)p(z)

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

如果 $‘ z ‘$ 是隐变量，要得到只关于 $‘ x ‘$ 的概率，就要把 $‘ z ‘$ 消掉。离散情况是求和：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

p(x)=\sum_z p(x,z)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

连续情况是积分：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

p(x)=\int p(x,z)\,dz

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

这一步叫边缘化。EM 和 VAE 的困难，本质上都与这个求和或积分难以直接计算有关。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

2.4 贝叶斯公式

由条件概率和联合概率分解：

math

p(z\mid x)
=
\frac{p(x\mid z)p(z)}{p(x)}

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

四个量要分清：

$‘ p (z) ‘$ ：先验（prior）
$‘ p (x ∣ z) ‘$ ：似然（likelihood）
$‘ p (x) ‘$ ：证据 / 边缘似然（evidence / marginal likelihood）
$‘ p (z ∣ x) ‘$ ：后验（posterior）

在 VAE 中，真正想知道的是 $‘ p_{θ} (z ∣ x) ‘$ 。麻烦在于分母

实例： 例如做医学检测： $‘ p (z) ‘$ 是检测前的患病率， $‘ p (x ∣ z) ‘$ 是患病者出现阳性的概率；看到阳性结果后，用这个公式把判断更新为后验 $‘ p (z ∣ x) ‘$ 。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

p_\theta(x)
=
\int p_\theta(x,z)\,dz

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

通常不好算，因此才需要另一个分布 $‘ q_{ϕ} (z ∣ x) ‘$ 去近似它。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

2.5 期望、方差与蒙特卡洛近似

离散随机变量的期望：

math

\mathbb E[X]
=
\sum_x x\,p(x)

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

连续情况：

实例： 假设抽奖有 50% 概率得到 0 元、50% 概率得到 10 元，那么期望收益是 $‘ 0 \times 0.5 + 10 \times 0.5 = 5 ‘$ 元。期望不是说每次一定拿到 5 元，而是大量重复后的平均水平。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\mathbb E[X]
=
\int x\,p(x)\,dx

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

更一般地：

实例： 理解这类式子时，可以把期望先看成“按概率加权的平均”。实际训练中通常没有办法枚举整个分布，所以会用一个 minibatch 的样本平均来近似它。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\mathbb E_{X\sim p}[g(X)]
=
\int p(x)g(x)\,dx

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

如果积分不好算，但能从 $‘ p (x) ‘$ 采样，就可以用样本平均近似：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\mathbb E_{X\sim p}[g(X)]
\approx
\frac{1}{N}\sum_{i=1}^{N}g(x_i)

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

这就是蒙特卡洛估计。CatGAN 的熵期望、VAE 的重构项估计以及 minibatch 训练，都能看到同一种思想。

均值和方差：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\mu=\mathbb E[X]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\mathrm{Var}(X)
=
\mathbb E[(X-\mu)^2]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ Var ‘$ ：方差算子。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。

实例： 若数据是 4、5、6，均值为 5。三个偏差分别为 -1、0、1，平方后为 1、0、1，因此总体方差为 $‘ (1 + 0 + 1) / 3 = 2 / 3 ‘$ 。数据越分散，方差通常越大。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\sigma
=
\sqrt{\mathrm{Var}(X)}

变量解释：

$‘ Var ‘$ ：方差算子。
$‘ σ ‘$ ：标准差。

一维高斯分布：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\mathcal N(x;\mu,\sigma^2)
=
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left(
-\frac{(x-\mu)^2}{2\sigma^2}
\right)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 例如身高可以近似想成围绕某个平均值波动。如果 $‘ μ = 170 ‘$ 、 $‘ σ = 5 ‘$ ，那么 170 附近的值密度较高，离 170 很远的值密度逐渐降低。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

2.6 i.i.d. 与似然的连乘

如果样本相互独立且来自同一个分布：

math

p(x_1,\ldots,x_N;\theta)
=
\prod_{i=1}^{N}p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

这就是 MLE 中似然函数写成连乘的直接来源。

怎么理解：连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

3. 信息论：熵、交叉熵、KL、JS 与互信息

3.1 信息量与熵

单个事件的信息量定义为：

math

I(x)=-\log p(x)

变量解释：

$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

事件越罕见， $‘ p (x) ‘$ 越小，信息量越大。

熵就是信息量的期望：

实例： 如果事件 A 的概率是 0.5，事件 B 的概率只有 0.01，那么 B 发生时更“意外”，所以 $‘ - \log p ‘$ 给 B 的信息量更大。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

H(X)
=
\mathbb E[-\log p(X)]
=
-\sum_x p(x)\log p(x)

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

直观上，分布越均匀，结果越难猜，熵越大；分布越集中，结果越确定，熵越小。

实例： 想象一枚硬币：正反面各 50% 时最难猜，熵较大；如果正面概率是 99%，几乎每次都能猜中，熵就很小。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

3.2 条件熵

给定 $‘ X = x ‘$ 后， $‘ Y ‘$ 的熵：

math

H(Y\mid X=x)
=
-\sum_y p(y\mid x)\log p(y\mid x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

再对 $‘ X ‘$ 取平均：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

H(Y\mid X)
=
\mathbb E_X[H(Y\mid X=x)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 如果只知道“这是一张动物图片”，类别还很不确定；看到具体图像特征后，模型可能给“猫”0.98 的概率，此时剩余的不确定性明显下降，这就是条件熵在表达的东西。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

3.3 互信息

互信息衡量“知道 $‘ X ‘$ 后，关于 $‘ Y ‘$ 的不确定性减少了多少”：

math

I(X;Y)
=
H(Y)-H(Y\mid X)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。

它也可以写成 KL：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

I(X;Y)
=
D_{\mathrm{KL}}
\left(
p(x,y)\,\|\,p(x)p(y)
\right)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

如果 $‘ X ‘$ 与 $‘ Y ‘$ 独立，那么 $‘ p (x, y) = p (x) p (y) ‘$ ，互信息为 0。

实例： 如果图像 $‘ X ‘$ 几乎可以唯一确定类别 $‘ Y ‘$ ，那么知道图像后，类别的不确定性会大幅下降，因此互信息较大。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

3.4 交叉熵

真实分布为 $‘ P ‘$ 、模型分布为 $‘ Q ‘$ 时：

math

H(P,Q)
=
-\sum_x P(x)\log Q(x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。

多分类 one-hot 标签下：

实例： 若真实类别是“猫”，模型给猫的概率从 0.2 提高到 0.9，那么 $‘ - \log p_{cat} ‘$ 会明显下降，因此交叉熵会奖励模型把更高概率放在正确类别上。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

L_{\mathrm{CE}}
=
-\sum_{k=1}^{K}y_k\log p_k

变量解释：

$‘ L_{CE} ‘$ ：多分类交叉熵损失。
$‘ K ‘$ ：类别总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ k ‘$ ：类别或向量分量索引。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ y_{k} ‘$ ：真实标签在第 $‘ k ‘$ 类上的 one-hot 指示值。
$‘ p ‘$ ：概率分布或概率密度。

如果真实类别是 $‘ c ‘$ ，就简化为：

实例： 假设有猫、狗、鸟三类，真实类别是狗，对应 one-hot 标签为 $‘ (0, 1, 0) ‘$ 。如果模型输出 $‘ (0.1, 0.8, 0.1) ‘$ ，交叉熵最终只保留 $‘ - \log 0.8 ‘$ 。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

L_{\mathrm{CE}}
=
-\log p_c

变量解释：

$‘ L_{CE} ‘$ ：多分类交叉熵损失。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ p ‘$ ：概率分布或概率密度。

二分类交叉熵：

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

L_{\mathrm{BCE}}
=
-\left[
y\log\hat y
+
(1-y)\log(1-\hat y)
\right]

变量解释：

$‘ L_{BCE} ‘$ ：二分类交叉熵损失。
$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ y ‘$ ：标签、类别变量或目标值。

BCE 并不是随意设计出来的，它就是 Bernoulli 分布的负对数似然。

实例： 真实标签为 1 时，如果模型预测 $‘ \hat{y} = 0.9 ‘$ ，损失是 $‘ - \log 0.9 ‘$ ，很小；如果只预测 0.1，损失会明显变大。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

3.5 KL 散度

离散 KL：

math

D_{\mathrm{KL}}(P\|Q)
=
\sum_x P(x)
\log\frac{P(x)}{Q(x)}

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。

连续 KL：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

D_{\mathrm{KL}}(P\|Q)
=
\int p(x)
\log\frac{p(x)}{q(x)}
\,dx

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

它也满足：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

D_{\mathrm{KL}}(P\|Q)
=
H(P,Q)-H(P)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

关键性质：

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

D_{\mathrm{KL}}(P\|Q)\ge 0

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

且一般：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

D_{\mathrm{KL}}(P\|Q)
\ne
D_{\mathrm{KL}}(Q\|P)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

所以 KL 不是严格意义上的距离。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

3.6 JS 散度

先定义混合分布：

math

M
=
\frac{1}{2}(P+Q)

变量解释：

$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。

然后：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

D_{\mathrm{JS}}(P\|Q)
=
\frac{1}{2}D_{\mathrm{KL}}(P\|M)
+
\frac{1}{2}D_{\mathrm{KL}}(Q\|M)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D_{JS} ‘$ ：Jensen–Shannon 散度。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。

JS 是对称的：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

D_{\mathrm{JS}}(P\|Q)
=
D_{\mathrm{JS}}(Q\|P)

变量解释：

$‘ D_{JS} ‘$ ：Jensen–Shannon 散度。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

经典 GAN 的理论分析会自然出现 JS 散度。

实例： 如果真实数据分布和生成数据分布越来越接近，它们与中间混合分布 $‘ M ‘$ 的 KL 都会变小，因此 JS 也会下降。

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

4. 神经网络训练里最常见的数学工具

4.1 梯度下降

损失写成：

math

L=L(\theta_1,\ldots,\theta_m)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

梯度：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\nabla_\theta L
=
\left(
\frac{\partial L}{\partial\theta_1},
\ldots,
\frac{\partial L}{\partial\theta_m}
\right)

变量解释：

$‘ \nabla_{θ} ‘$ ：关于参数 $‘ θ ‘$ 的梯度。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

梯度下降：

怎么理解： 导数或梯度告诉我们参数发生一点变化时，目标函数会朝哪个方向、以多快的速度变化。

math

\theta_{t+1}
=
\theta_t
-
\eta\nabla_\theta L(\theta_t)

变量解释：

$‘ \nabla_{θ} ‘$ ：关于参数 $‘ θ ‘$ 的梯度。
$‘ η ‘$ ：学习率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

其中 $‘ η ‘$ 是学习率。

实例： 假设当前参数是 2，梯度是 3，学习率是 0.1，那么下一步参数约为 $‘ 2 - 0.1 \times 3 = 1.7 ‘$ 。负号表示朝让损失下降的方向走。

怎么理解： 导数或梯度告诉我们参数发生一点变化时，目标函数会朝哪个方向、以多快的速度变化。

4.2 链式法则

若

math

y=f(u),
\qquad
u=g(x)

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

则：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\frac{dy}{dx}
=
\frac{dy}{du}
\frac{du}{dx}

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

反向传播本质上就是在计算图上反复使用链式法则。

实例： 例如 $‘ u = x^{2} ‘$ 、 $‘ y = 3 u ‘$ ，那么 $‘ d u / d x = 2 x ‘$ 、 $‘ d y / d u = 3 ‘$ ，所以 $‘ d y / d x = 6 x ‘$ 。神经网络反向传播就是把很多这样的局部导数一路乘回去。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

4.3 Sigmoid 与 Softmax

Sigmoid：

math

\sigma(t)
=
\frac{1}{1+e^{-t}}

变量解释：

$‘ σ ‘$ ：标准差。

Softmax：

实例： 当 $‘ t = 0 ‘$ 时，Sigmoid 输出 0.5； $‘ t ‘$ 很大时输出接近 1，很小时接近 0，所以它很适合把一个实数分数压成二分类概率。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

p_k
=
\frac{e^{a_k}}
{\sum_{j=1}^{K}e^{a_j}}

变量解释：

$‘ K ‘$ ：类别总数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ a_{k} ‘$ ：第 $‘ k ‘$ 个 logit 或分量。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

并且：

实例： 若三个 logits 是 1、2、3，Softmax 会把它们转换成三个正数概率，并保证总和为 1；分数 3 对应的类别会获得最大的概率。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\sum_{k=1}^{K}p_k=1

变量解释：

$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

4.4 MSE 与高斯噪声

均方误差：

math

L_{\mathrm{MSE}}
=
\frac{1}{N}
\sum_{i=1}^{N}
(\hat y_i-y_i)^2

变量解释：

$‘ L_{MSE} ‘$ ：均方误差损失。
$‘ MSE ‘$ ：均方误差。
$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ y ‘$ ：标签、类别变量或目标值。

如果假设：

实例： 真实值是 10，模型预测 8，单个样本的平方误差是 $‘ (8 - 10)^{2} = 4 ‘$ 。多个样本时，把这些平方误差加起来再取平均。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

y_i
=
f_\theta(x_i)+\varepsilon_i,
\qquad
\varepsilon_i\sim\mathcal N(0,\sigma^2)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ^{2} ‘$ ：方差。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

那么最大化高斯似然等价于最小化平方误差。因此 MSE 可以看成“固定方差高斯噪声假设”下的负对数似然。

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

5. 半监督学习

5.1 基本设定

半监督学习同时使用：

有标签数据 $‘ D_{L} = {(x_{i}, y_{i})} ‘$
无标签数据 $‘ D_{U} = {x_{j}} ‘$

常见总目标可以写成：

math

\min_\theta
\left[
\sum_{(x,y)\in\mathcal D_L}
L_s(x,y;\theta)
+
\alpha
\sum_{x\in\mathcal D_U}
L_u(x;\theta)
+
R(\theta)
\right]

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ α ‘$ ：无监督损失的权重系数。
$‘ D_{L} ‘$ ：有标签数据集。
$‘ D_{U} ‘$ ：无标签数据集。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

三部分分别负责：

有标签样本要预测正确；
无标签样本也要提供训练信号；
模型不能只靠复杂度死记训练集。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

5.2 两个常见假设

平滑性假设：

math

x_1\approx x_2
\quad\Rightarrow\quad
f(x_1)\approx f(x_2)

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

流形 / 聚类假设： 高维观测往往集中在更低维的结构上，同一高密度区域中的样本更可能共享标签。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

5.3 常见方法

可以粗略分成五类：

生成式方法：SSGAN、CatGAN、半监督 VAE
一致性正则： $‘ Π ‘$ -Model、Temporal Ensembling、Mean Teacher、Ladder Network
图方法：GNN、GCN
伪标签：Self-training、Noisy Student
混合方法：MixMatch、ReMixMatch 等

6. GAN：从二分类到分布匹配

场景例子： 假设训练数据是一批真实人脸。生成器一开始只会生成杂乱像素，判别器很容易判断为假；训练若有效，生成结果会逐渐出现脸部轮廓、五官和纹理。判别器也会同步变严格。GAN 的 loss 因此不像普通分类任务那样要求一路单调下降，更应该结合生成样本质量、两边梯度和训练平衡一起观察。

6.1 经典目标

生成器 $‘ G ‘$ 把噪声 $‘ z ‘$ 映射为假样本 $‘ G (z) ‘$ ；判别器 $‘ D ‘$ 判断输入来自真实数据还是生成器。

经典 minimax 目标：

math

\min_G\max_D
V(D,G)
=
\mathbb E_{x\sim p_{\mathrm{data}}}
[\log D(x)]
+
\mathbb E_{z\sim p_z}
[\log(1-D(G(z)))]

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{z} ‘$ ：GAN 中噪声或潜变量 $‘ z ‘$ 的先验分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ V ‘$ ：GAN 的对抗目标函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

判别器希望真实样本的 $‘ D (x) ‘$ 接近 1，生成样本的 $‘ D (G (z)) ‘$ 接近 0；生成器则试图让生成样本骗过判别器。

固定 $‘ G ‘$ 时，理论最优判别器为：

实例： 可以把生成器想成“造假者”，判别器想成“鉴定者”。鉴定者不断学习识别真假，生成器不断学习制造更像真实数据的样本，两边交替更新。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

D^*(x)
=
\frac{p_{\mathrm{data}}(x)}
{p_{\mathrm{data}}(x)+p_g(x)}

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{g} ‘$ ：生成器诱导出的生成数据分布。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

代回目标：

实例： 如果某个位置真实数据密度和生成数据密度相同，即 $‘ p_{data} (x) = p_{g} (x) ‘$ ，那么最优判别器输出就是 0.5，说明它已经无法仅凭来源区分真假。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

V(D^*,G)
=
-\log 4
+
2D_{\mathrm{JS}}
(p_{\mathrm{data}}\|p_g)

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{g} ‘$ ：生成器诱导出的生成数据分布。
$‘ D_{JS} ‘$ ：Jensen–Shannon 散度。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ V ‘$ ：GAN 的对抗目标函数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ p ‘$ ：概率分布或概率密度。

因此在理想理论条件下，生成器的目标可以理解为推动 $‘ p_{g} ‘$ 接近 $‘ p_{data} ‘$ 。

实际训练中常使用 non-saturating generator loss，而不是直接最小化 $‘ \log (1 - D (G (z))) ‘$ ，因为前者通常能提供更强的早期梯度。

实例： 如果真实数据分布和生成数据分布越来越接近，它们与中间混合分布 $‘ M ‘$ 的 KL 都会变小，因此 JS 也会下降。

怎么理解：概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

7. CatGAN：把“真假判别”改造成类别结构学习

CatGAN 的关键不是简单增加一个分类头，而是用熵与互信息约束分类器。

设判别器输出：

math

p(y\mid x)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

对单个真实样本，希望类别明确，因此希望条件熵小：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

H(Y\mid X=x)
=
-\sum_{k=1}^{K}
p(y=k\mid x)
\log p(y=k\mid x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

但如果只追求单样本低熵，模型可能把所有样本都塞进同一类。因此还希望整体预测类别分布比较丰富，即边缘熵大。

真实数据的平均预测分布：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

p(y)
=
\mathbb E_{x\sim p_{\mathrm{data}}}
[p(y\mid x)]

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

对应边缘熵：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

H(Y)
=
-\sum_y p(y)\log p(y)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

因此：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

I(X;Y)
=
H(Y)-H(Y\mid X)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。

正好表达了 CatGAN 想要的效果：整体类别丰富，但每个样本的类别判断明确。

对生成器也可以使用同样的互信息思想，让生成样本能够形成明确而多样的类别结构。

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

8. CCGAN：连续条件下的生成

普通 conditional GAN 更适合离散标签；当条件变量本身是连续量时，例如年龄、角度或连续物理属性，直接把每个条件值当成独立类别并不自然。

CCGAN 的核心思路是：在连续标签附近构造“局部条件”，利用相邻标签之间的连续性学习条件生成分布。

风险的一般形式仍然是期望：

math

R(f)
=
\mathbb E_{(X,Y)\sim p}
[
L(f(X),Y)
]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f ‘$ ：函数或预测模型。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ p ‘$ ：概率分布或概率密度。

实际数据有限时，用经验风险近似：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\hat R(f)
=
\frac{1}{N}
\sum_{i=1}^{N}
L(f(x_i),y_i)

变量解释：

$‘ \hat{R} ‘$ ：经验风险，即训练样本上的平均损失。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f ‘$ ：函数或预测模型。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

本质上还是“大数定律 + 样本平均近似总体期望”。

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

9. MLE：先把“最能解释数据”写成数学

给定 i.i.d. 数据 $‘ x_{1}, \dots, x_{N} ‘$ ：

math

L(\theta)
=
\prod_{i=1}^{N}
p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

MLE 定义为：

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

math

\hat\theta_{\mathrm{MLE}}
=
\mathop{\mathrm{arg\,max}}_{\theta}
L(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ \hat{θ} ‘$ ：参数 $‘ θ ‘$ 的估计值。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

通常改为最大化对数似然：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\ell(\theta)
=
\log L(\theta)
=
\sum_{i=1}^{N}
\log p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

因此：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\hat\theta_{\mathrm{MLE}}
=
\mathop{\mathrm{arg\,max}}_{\theta}
\ell(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ \hat{θ} ‘$ ：参数 $‘ θ ‘$ 的估计值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

9.1 正态分布 MLE

若：

math

x_i\sim\mathcal N(\mu,\sigma^2)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

则：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

L(\mu,\sigma^2)
=
\prod_{i=1}^{N}
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left[
-\frac{(x_i-\mu)^2}{2\sigma^2}
\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

对数似然：

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

math

\ell(\mu,\sigma^2)
=
-\frac{N}{2}\log(2\pi)
-\frac{N}{2}\log\sigma^2
-\frac{1}{2\sigma^2}
\sum_{i=1}^{N}(x_i-\mu)^2

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ π ‘$ ：圆周率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

求导可得：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\hat\mu_{\mathrm{MLE}}
=
\frac{1}{N}
\sum_{i=1}^{N}x_i

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ \hat{μ} ‘$ ：均值 $‘ μ ‘$ 的估计值。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

以及：

实例： 若观测值为 2、4、6，那么高斯均值的 MLE 是 $‘ (2 + 4 + 6) / 3 = 4 ‘$ 。这说明熟悉的样本平均值也可以从极大似然推导出来。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\hat\sigma^2_{\mathrm{MLE}}
=
\frac{1}{N}
\sum_{i=1}^{N}
(x_i-\hat\mu_{\mathrm{MLE}})^2

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ \hat{μ} ‘$ ：均值 $‘ μ ‘$ 的估计值。
$‘ \hat{σ} ‘$ ：标准差 $‘ σ ‘$ 的估计值。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

注意这里是 MLE，所以分母是 $‘ N ‘$ ；统计学中的无偏样本方差常用 $‘ N - 1 ‘$ ，两者不要混淆。

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

10. Jensen 不等式：为什么会出现“下界”

如果 $‘ f ‘$ 是凸函数：

math

f(\mathbb E[X])
\le
\mathbb E[f(X)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ f ‘$ ：函数或预测模型。

如果 $‘ f ‘$ 是凹函数：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

f(\mathbb E[X])
\ge
\mathbb E[f(X)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ f ‘$ ：函数或预测模型。

因为 $‘ \log x ‘$ 是凹函数：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\log\mathbb E[U]
\ge
\mathbb E[\log U]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。

EM 和 ELBO 的下界推导，核心都依赖这一点。

实例： 可以把它理解成：先取平均再取对数，与先取对数再平均并不相同。因为 $‘ \log ‘$ 是凹函数，前者不会小于后者，这正是构造 ELBO 下界的关键。

怎么理解：这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

11. EM：隐变量让似然难算时怎么办

设观测变量为 $‘ x ‘$ ，隐变量为 $‘ z ‘$ 。我们想最大化：

math

\log p_\theta(x)
=
\log\sum_z p_\theta(x,z)

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

或连续情况：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\log p_\theta(x)
=
\log\int p_\theta(x,z)\,dz

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

难点是：对数外面包着求和或积分。

引入任意分布 $‘ q (z) ‘$ ：

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

\log p_\theta(x)
=
\log
\sum_z
q(z)
\frac{p_\theta(x,z)}{q(z)}

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

利用 Jensen：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

\log p_\theta(x)
\ge
\sum_z
q(z)
\log
\frac{p_\theta(x,z)}{q(z)}

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

右边就是一个下界。

EM 的 E 步令辅助分布等于当前参数下的真实后验：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

q(z)
=
p_{\theta^{\mathrm{old}}}(z\mid x)

变量解释：

$‘ θ^{old} ‘$ ：上一轮迭代得到的模型参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

M 步固定这个后验，更新参数：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

\theta^{\mathrm{new}}
=
\mathop{\mathrm{arg\,max}}_{\theta}
\mathbb E_{z\sim q(z)}
[
\log p_\theta(x,z)
]

变量解释：

$‘ θ^{new} ‘$ ：当前更新后得到的模型参数。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

可以把 EM 记成：

E 步：估计隐变量的后验。

M 步：把这个后验当作权重，重新估计模型参数。

怎么理解：这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

12. ELBO：VAE 真正优化的东西

场景例子： 把一张手写数字“3”送进 VAE。编码器不会只返回一个固定坐标，而是返回一个潜变量分布，例如某几个维度的均值与方差。随后从这个分布取一个 $‘ z ‘$ ，解码器尝试重新生成“3”。重构项检查生成结果是否像原图，KL 项则约束这个潜空间不要变成彼此割裂、无法采样的孤岛。

12.1 从边缘似然开始

VAE 真正希望最大化：

math

\log p_\theta(x)

变量解释：

$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

但：

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

p_\theta(x)
=
\int p_\theta(x,z)\,dz

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

往往难以直接计算。

于是引入变分分布：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

q_\phi(z\mid x)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

并改写：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\log p_\theta(x)
=
\log
\int
q_\phi(z\mid x)
\frac{p_\theta(x,z)}
{q_\phi(z\mid x)}
\,dz

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

Jensen 给出：

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

\log p_\theta(x)
\ge
\mathbb E_{q_\phi(z\mid x)}
\left[
\log
\frac{p_\theta(x,z)}
{q_\phi(z\mid x)}
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

定义：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\mathcal L(\theta,\phi;x)
=
\mathbb E_{q_\phi(z\mid x)}
\left[
\log p_\theta(x,z)
-
\log q_\phi(z\mid x)
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

这就是 ELBO。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

12.2 ELBO 与真实对数似然的精确关系

最值得记住的恒等式是：

math

\log p_\theta(x)
=
\mathcal L(\theta,\phi;x)
+
D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|
p_\theta(z\mid x)
\right)

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

因为 KL 非负，所以：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

\log p_\theta(x)
\ge
\mathcal L(\theta,\phi;x)

变量解释：

$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

这也解释了“Evidence Lower Bound”这个名字。

更重要的是，它告诉我们：最大化 ELBO 一方面提高数据似然，另一方面也会推动近似后验 $‘ q_{ϕ} (z ∣ x) ‘$ 靠近真实后验 $‘ p_{θ} (z ∣ x) ‘$ 。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

12.3 VAE 常用分解

利用：

math

p_\theta(x,z)
=
p_\theta(x\mid z)p(z)

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

ELBO 可以整理成：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

\mathcal L(\theta,\phi;x)
=
\mathbb E_{q_\phi(z\mid x)}
[
\log p_\theta(x\mid z)
]
-
D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|
p(z)
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

两部分分别是：

重构项：给定 $‘ z ‘$ 后，解码器能不能解释 / 重构 $‘ x ‘$ ；
KL 项：编码器给出的潜变量分布不要偏离先验太远。

训练代码常最小化负 ELBO：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

L_{\mathrm{VAE}}
=
L_{\mathrm{recon}}
+
L_{\mathrm{KL}}

变量解释：

$‘ L_{recon} ‘$ ：VAE 的重构损失。
$‘ L_{KL} ‘$ ：VAE 中由 KL 散度得到的正则项。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

这里的正负号只是“最大化 ELBO”和“最小化 loss”两种记号约定之间的转换。

怎么理解：直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

13. VAE：编码器、解码器与重参数化

13.1 编码器

常见假设：

math

q_\phi(z\mid x)
=
\mathcal N
\left(
z;
\mu_\phi(x),
\mathrm{diag}(\sigma_\phi^2(x))
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

编码器不是直接输出一个 $‘ z ‘$ ，而是输出分布参数 $‘ μ ‘$ 和 $‘ σ^{2} ‘$ 。

实践中通常输出：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\mathrm{logvar}
=
\log\sigma^2

变量解释：

$‘ σ^{2} ‘$ ：方差。

于是：

实例： 例如方差 $‘ σ^{2} = 4 ‘$ ，那么 logvar 就是 $‘ \log 4 ‘$ ；反过来通过指数函数可以恢复方差和标准差。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

\sigma
=
\exp\left(
\frac{1}{2}\mathrm{logvar}
\right)

变量解释：

$‘ σ ‘$ ：标准差。

实例： 例如方差 $‘ σ^{2} = 4 ‘$ ，那么 logvar 就是 $‘ \log 4 ‘$ ；反过来通过指数函数可以恢复方差和标准差。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

13.2 重参数化

直接写：

math

z\sim q_\phi(z\mid x)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

会让随机采样节点夹在参数 $‘ ϕ ‘$ 和后续损失之间，不方便用普通链式法则传播梯度。

因此改写为：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\varepsilon
\sim
\mathcal N(0,I)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

z
=
\mu_\phi(x)
+
\sigma_\phi(x)\odot\varepsilon

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。

随机性被放到与 $‘ ϕ ‘$ 无关的 $‘ ε ‘$ 中，而 $‘ μ_{ϕ} ‘$ 、 $‘ σ_{ϕ} ‘$ 到 $‘ z ‘$ 的关系变成确定性计算，因此可以反向传播。

代码里常写成：

实例： 假设编码器输出 $‘ μ = 2 ‘$ 、 $‘ σ = 0.5 ‘$ ，这次采到 $‘ ε = - 1 ‘$ ，那么 $‘ z = 2 + 0.5 \times (- 1) = 1.5 ‘$ 。随机性来自 $‘ ε ‘$ ，而 $‘ μ ‘$ 、 $‘ σ ‘$ 仍处在可求导的计算路径上。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

z
=
\mu
+
\varepsilon\odot
\exp\left(
\frac{1}{2}\mathrm{logvar}
\right)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ z ‘$ ：隐变量 / 潜变量。

实例： 例如方差 $‘ σ^{2} = 4 ‘$ ，那么 logvar 就是 $‘ \log 4 ‘$ ；反过来通过指数函数可以恢复方差和标准差。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

13.3 标准高斯先验下的 KL 闭式

若：

math

q_\phi(z\mid x)
=
\mathcal N
\left(
\mu,
\mathrm{diag}(\sigma^2)
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

且：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

p(z)=\mathcal N(0,I)

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

则：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

D_{\mathrm{KL}}
(q_\phi(z\mid x)\|p(z))
=
\frac{1}{2}
\sum_{j=1}^{d}
\left(
\mu_j^2
+
\sigma_j^2
-
\log\sigma_j^2
-
1
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

若用 logvar：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

D_{\mathrm{KL}}
=
-\frac{1}{2}
\sum_{j=1}^{d}
\left(
1+\mathrm{logvar}_j
-\mu_j^2
-\exp(\mathrm{logvar}_j)
\right)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ j ‘$ ：维度、参数或类别索引。

这是 VAE 代码里最常见的 KL 公式。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解：直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

14. AEVB 与蒙特卡洛训练

单样本 ELBO：

math

\mathcal L(x)
=
-
D_{\mathrm{KL}}
(q_\phi(z\mid x)\|p(z))
+
\mathbb E_{q_\phi(z\mid x)}
[
\log p_\theta(x\mid z)
]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

如果重构期望不能解析计算，可以采样 $‘ L ‘$ 次：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

z^{(l)}
=
g_\phi(x,\varepsilon^{(l)})

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ l ‘$ ：蒙特卡洛采样索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。

得到：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\mathbb E_q
[
\log p_\theta(x\mid z)
]
\approx
\frac{1}{L}
\sum_{l=1}^{L}
\log p_\theta(x\mid z^{(l)})

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ l ‘$ ：蒙特卡洛采样索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

因此：

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

math

\bar{\mathcal L}(x)
=
-
D_{\mathrm{KL}}
(q_\phi(z\mid x)\|p(z))
+
\frac{1}{L}
\sum_{l=1}^{L}
\log p_\theta(x\mid z^{(l)})

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ l ‘$ ：蒙特卡洛采样索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

训练中常取 $‘ L = 1 ‘$ 。这不是说一个样本就等于理论期望，而是每个 minibatch、每次迭代都会重新采样，在计算量与梯度方差之间折中。

如果完整数据集有 $‘ N ‘$ 个样本、minibatch 大小为 $‘ M ‘$ ，估计全数据总和时可写成：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

\widehat{\mathcal L}_{\mathrm{total}}
=
\frac{N}{M}
\sum_{i\in\mathcal B}
\mathcal L(x_i)

变量解释：

$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ B ‘$ ：当前 minibatch 中的样本索引集合。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

15. 解码分布决定“重构损失长什么样”

这是理解 VAE loss 最容易被忽略的一点：重构损失不是凭感觉挑 BCE 或 MSE，而是由 $‘ p_{θ} (x ∣ z) ‘$ 的概率模型决定。

15.1 Bernoulli 解码器

若 $‘ x_{i} \in {0, 1} ‘$ ：

math

p_\theta(x_i\mid z)
=
y_i^{x_i}
(1-y_i)^{1-x_i}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

负对数：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

-\log p_\theta(x_i\mid z)
=
-
\left[
x_i\log y_i
+
(1-x_i)\log(1-y_i)
\right]

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

这就是 BCE。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

15.2 高斯解码器

若：

math

p_\theta(x\mid z)
=
\mathcal N
\left(
x;
\mu_\theta(z),
\sigma^2I
\right)

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

且 $‘ σ^{2} ‘$ 固定，则：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

-\log p_\theta(x\mid z)
=
\text{constant}
+
\frac{1}{2\sigma^2}
\|x-\mu_\theta(z)\|_2^2

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

所以最大化高斯重构似然等价于最小化平方误差。

怎么理解：概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

16. 一致性正则化

场景例子： 一张汽车图片经过水平平移、轻微亮度变化或小幅裁剪后，语义仍然是汽车。无标签数据虽然没有告诉模型“正确答案是汽车”，但可以要求模型对原图和扰动图给出接近的预测。这就把无标签数据转化成了训练信号。

核心想法很简单：如果数据增强没有改变语义，模型的预测也不应该大幅变化。

设：

math

x'=T(x)

变量解释：

$‘ T ‘$ ：对输入施加的数据增强或扰动变换。
$‘ x ‘$ ：观测数据 / 输入样本。

希望：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

f_\theta(x')
\approx
f_\theta(x)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

于是定义：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

L_{\mathrm{cons}}
=
D
\left(
f_\theta(x),
f_\theta(T(x))
\right)

变量解释：

$‘ L_{cons} ‘$ ：一致性正则损失。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ T ‘$ ：对输入施加的数据增强或扰动变换。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。

总损失：

实例： 例如把同一张猫的图片轻微裁剪、翻转或加一点噪声，模型前后都应该仍然倾向预测为猫。如果两次输出差很多，一致性损失就会变大。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

L_{\mathrm{total}}
=
L_{\mathrm{sup}}
+
\lambda_{\mathrm{cons}}
L_{\mathrm{cons}}

变量解释：

$‘ L_{cons} ‘$ ：一致性正则损失。
$‘ L_{\sup} ‘$ ：有标签数据上的监督损失。
$‘ L_{total} ‘$ ：总训练目标 / 总损失。
$‘ λ_{cons} ‘$ ：一致性损失的权重系数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

如果使用 MSE：

实例： 例如把同一张猫的图片轻微裁剪、翻转或加一点噪声，模型前后都应该仍然倾向预测为猫。如果两次输出差很多，一致性损失就会变大。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

d_{\mathrm{MSE}}
=
\frac{1}{C}
\sum_{k=1}^{C}
\left[
f_k(x_i)-f_k(x_j)
\right]^2

变量解释：

$‘ MSE ‘$ ：均方误差。
$‘ f ‘$ ：函数或预测模型。
$‘ C ‘$ ：向量维度或类别数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。

如果输出是概率分布，也可以使用 KL 或 JS，但要注意 KL 的方向会影响优化行为。

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

17. Ladder Network

Ladder Network 同时利用监督分类与无监督重构。

无监督重构目标可以写成：

math

\min
\|X-X'\|_2^2

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

隐藏表示：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

H=f(x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

这里存在一个很重要的张力：

重构希望隐藏表示尽量保留输入信息；
分类希望隐藏表示突出任务相关信息、丢掉无关细节。

Ladder Network 的结构设计就是在这两种需求之间取得平衡。

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

18. 正则化：从优化视角和贝叶斯视角理解

一般形式：

math

L_{\mathrm{total}}(\theta)
=
L_{\mathrm{data}}(\theta)
+
\lambda R(\theta)

变量解释：

$‘ L_{total} ‘$ ：总训练目标 / 总损失。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

L1：

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

R_{L1}(\theta)
=
\lambda
\sum_j|\theta_j|

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

L2：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

R_{L2}(\theta)
=
\lambda
\sum_j\theta_j^2

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

从 MAP 角度：

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

math

p(\theta\mid D)
\propto
p(D\mid\theta)p(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ p ‘$ ：概率分布或概率密度。

取负对数：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

-\log p(\theta\mid D)
=
-\log p(D\mid\theta)
-
\log p(\theta)
+
\text{constant}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ p ‘$ ：概率分布或概率密度。

因此“数据损失 + 正则项”也可以理解为“负对数似然 + 负对数先验”。

零均值高斯先验对应 L2；Laplace 先验对应 L1。

怎么理解：概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

19. EM、变分推断和 VAE 到底是什么关系

这三个概念容易混在一起，可以这样分：

EM：当真实后验能够在 E 步算出来时，用真实后验构造紧下界，再更新参数。

变分推断：真实后验算不出来，于是从一个可处理的分布族里找 $‘ q_{ϕ} (z ∣ x) ‘$ 去近似它。

VAE：把变分分布参数化成神经网络编码器，再用重参数化让整个系统可以通过梯度下降训练。

最核心的共同公式仍然是：

math

\log p_\theta(x)
=
\mathrm{ELBO}
+
D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|
p_\theta(z\mid x)
\right)

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

这条式子几乎可以当成整部分内容的“总公式”。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解：直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

20. 几个容易混淆、但考试和实现都很重要的点

20.1 “似然”不是“概率”的另一个名字

写成 $‘ p (x ∣ θ) ‘$ 时，如果固定 $‘ θ ‘$ 、把 $‘ x ‘$ 当变量，它描述概率分布；如果固定观测到的 $‘ x ‘$ 、把 $‘ θ ‘$ 当变量，它就是关于参数的似然函数。公式一样，视角不同。

20.2 KL 的两个方向不等价

math

D_{\mathrm{KL}}(P\|Q)
\ne
D_{\mathrm{KL}}(Q\|P)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

因此看到 KL 时不能只记“让两个分布接近”，还要看谁在前、谁在后。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

20.3 VAE 的 KL 不是“让每个 $‘ z ‘$ 都等于 0”

KL 约束的是分布。编码器仍然可以让不同输入产生不同的 $‘ μ (x) ‘$ 和 $‘ σ (x) ‘$ ；只是整体不能毫无约束地偏离先验。

20.4 重构项的数值形式取决于观测模型

Bernoulli likelihood 对应 BCE；固定方差 Gaussian likelihood 对应平方误差。不能脱离 $‘ p_{θ} (x ∣ z) ‘$ 单独讨论“VAE 就应该用哪一种重构 loss”。

20.5 ELBO 是下界，不是对数似然本身

只有当：

math

q_\phi(z\mid x)
=
p_\theta(z\mid x)

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

时：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|
p_\theta(z\mid x)
\right)
=0

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

ELBO 才与 $‘ \log p_{θ} (x) ‘$ 完全相等。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

20.6 训练 loss 的正负号要看代码约定

理论通常写“最大化 ELBO”，代码通常写“最小化 negative ELBO”。看到符号相反时，先确认优化方向，不要立刻认为公式冲突。

21. 最后用一条推导链复习

从最基础的概率开始：

math

p(z\mid x)
=
\frac{p(x\mid z)p(z)}{p(x)}

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

VAE 中分母难算：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

p_\theta(x)
=
\int p_\theta(x,z)\,dz

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

于是引入：

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

math

q_\phi(z\mid x)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

再得到：

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

math

\log p_\theta(x)
=
\mathrm{ELBO}
+
D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|
p_\theta(z\mid x)
\right)

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

因此：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

\log p_\theta(x)
\ge
\mathrm{ELBO}

变量解释：

$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

而 VAE 的 ELBO：

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

math

\mathrm{ELBO}
=
\mathbb E_{q_\phi(z\mid x)}
[
\log p_\theta(x\mid z)
]
-
D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|
p(z)
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

为了让编码器可训练，再使用：

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

math

z
=
\mu_\phi(x)
+
\sigma_\phi(x)\odot\varepsilon,
\qquad
\varepsilon\sim\mathcal N(0,I)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。

到这里，MLE、Jensen、KL、ELBO、VAE 和重参数化就真正连成了一条线。

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

附录 A：符号速查

符号	含义
$‘ x ‘$	观测数据 / 输入
$‘ y ‘$	标签或类别变量
$‘ z ‘$	隐变量 / 潜变量
$‘ θ ‘$	生成模型、解码器或一般模型参数
$‘ ϕ ‘$	变分分布 / 编码器参数
$‘ p_{θ} (x ∣ z) ‘$	解码器 / 生成分布
$‘ p (z) ‘$	潜变量先验
$‘ p_{θ} (z ∣ x) ‘$	真实后验，通常难直接计算
$‘ q_{ϕ} (z ∣ x) ‘$	近似后验 / 编码器分布
$‘ E [\cdot] ‘$	期望
$‘ H (\cdot) ‘$	熵
$‘ D_{KL} (\cdot \| \cdot) ‘$	KL 散度
$‘ D_{JS} (\cdot \| \cdot) ‘$	JS 散度
$‘ μ, σ^{2} ‘$	均值、方差
$‘ η ‘$	学习率
$‘ λ, α ‘$	损失或正则项权重

附录 B：原笔记公式索引（去重并统一为 Markdown 块公式）

下面保留原笔记中可识别的独立公式，主要用于查漏。正文已经按知识关系重新组织；这里不再重复逐式解释。

B.1

math

y=f(x)

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.2

math

\mathbf{x}=(x_1,x_2,\ldots,x_d)

变量解释：

$‘ d ‘$ ：潜变量或向量的维度。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.3

math

0\le P(A)\le 1

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.4

math

\sum_x p(x)=1

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.5

math

p(x)=P(X=x)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.6

math

P(a\le X\le b)=\int_a^b f(x)\,dx

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.7

math

\int_{-\infty}^{\infty}f(x)\,dx=1

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.8

math

p(x,z)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.9

math

p(z\mid x)=\frac{p(x,z)}{p(x)}

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.10

math

p(x,z)=p(z\mid x)p(x)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.11

math

p(x,z)=p(x\mid z)p(z)

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.12

math

p(x)=\sum_z p(x,z)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.13

math

p(x)=\int p(x,z)\,dz

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.14

math

p(z\mid x)
=
\frac{p(x\mid z)p(z)}{p(x)}

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.15

math

\mathbb{E}[X]
=
\sum_x x\,p(x)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.16

math

\mathbb{E}[X]
=
\int x f(x)\,dx

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.17

math

\mathbb{E}[g(X)]
=
\sum_x p(x)g(x)

变量解释：

$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.18

math

\mathbb{E}[g(X)]
=
\int f(x)g(x)\,dx

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.19

math

\mathbb{E}_{X\sim p}[g(X)]
=
\int p(x)g(x)\,dx

变量解释：

$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.20

math

\mathbb{E}_{X\sim p}[g(X)]
\approx
\frac{1}{N}\sum_{i=1}^{N}g(x_i)

变量解释：

$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.21

math

\mu=\mathbb{E}[X]

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.22

math

\mathrm{Var}(X)
=
\mathbb{E}[(X-\mu)^2]

变量解释：

$‘ Var ‘$ ：方差算子。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.23

math

\sigma=\sqrt{\mathrm{Var}(X)}

变量解释：

$‘ Var ‘$ ：方差算子。
$‘ σ ‘$ ：标准差。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.24

math

\mathcal{N}(x;\mu,\sigma^2)
=
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left(
-\frac{(x-\mu)^2}{2\sigma^2}
\right)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.25

math

p(x_1,x_2)=p(x_1)p(x_2)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.26

math

p(x_1,\ldots,x_N;\theta)
=
\prod_{i=1}^{N}p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.27

math

I(x)=-\log p(x)

变量解释：

$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

实例： 如果事件 A 的概率是 0.5，事件 B 的概率只有 0.01，那么 B 发生时更“意外”，所以 $‘ - \log p ‘$ 给 B 的信息量更大。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.28

math

H(X)
=
\mathbb{E}_{X\sim p}[-\log p(X)]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.29

math

H(X)
=
-\sum_x p(x)\log p(x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

实例： 想象一枚硬币：正反面各 50% 时最难猜，熵较大；如果正面概率是 99%，几乎每次都能猜中，熵就很小。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.30

math

H(Y\mid X=x)
=
-\sum_y p(y\mid x)\log p(y\mid x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.31

math

H(Y\mid X)
=
\mathbb{E}_{X}
[H(Y\mid X=x)]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.32

math

H(Y\mid X)
=
-\sum_x p(x)\sum_y p(y\mid x)\log p(y\mid x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.33

math

I(X;Y)=H(Y)-H(Y\mid X)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.34

math

I(X;Y)
=
D_{\mathrm{KL}}
\left(
 p(x,y)\,\|\,p(x)p(y)
\right)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

实例： 如果图像 $‘ X ‘$ 几乎可以唯一确定类别 $‘ Y ‘$ ，那么知道图像后，类别的不确定性会大幅下降，因此互信息较大。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.35

math

H(P,Q)
=
-\sum_x P(x)\log Q(x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.36

math

H(P)=-\sum_x P(x)\log P(x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.37

math

H(P,Q)=-\sum_x P(x)\log Q(x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.38

math

H(P,Q)-H(P)
=
\sum_x P(x)\log\frac{P(x)}{Q(x)}

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.39

math

D_{\mathrm{KL}}(P\|Q)
=
\sum_x P(x)\log\frac{P(x)}{Q(x)}

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.40

math

\frac{f(x+\Delta x)-f(x)}{\Delta x}

变量解释：

$‘ Δ x ‘$ ：输入变量的微小变化量。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.41

math

f'(x)
=
\lim_{\Delta x\to0}
\frac{f(x+\Delta x)-f(x)}{\Delta x}

变量解释：

$‘ Δ x ‘$ ：输入变量的微小变化量。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.42

math

L=L(\theta_1,\theta_2,\ldots,\theta_m)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.43

math

\frac{\partial L}{\partial\theta_j}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 导数或梯度告诉我们参数发生一点变化时，目标函数会朝哪个方向、以多快的速度变化。

B.44

math

\nabla_\theta L
=
\left(
\frac{\partial L}{\partial\theta_1},
\ldots,
\frac{\partial L}{\partial\theta_m}
\right)

变量解释：

$‘ \nabla_{θ} ‘$ ：关于参数 $‘ θ ‘$ 的梯度。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 导数或梯度告诉我们参数发生一点变化时，目标函数会朝哪个方向、以多快的速度变化。

B.45

math

\theta_{t+1}
=
\theta_t-\eta\nabla_\theta L(\theta_t)

变量解释：

$‘ \nabla_{θ} ‘$ ：关于参数 $‘ θ ‘$ 的梯度。
$‘ η ‘$ ：学习率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

实例： 假设当前参数是 2，梯度是 3，学习率是 0.1，那么下一步参数约为 $‘ 2 - 0.1 \times 3 = 1.7 ‘$ 。负号表示朝让损失下降的方向走。

怎么理解： 导数或梯度告诉我们参数发生一点变化时，目标函数会朝哪个方向、以多快的速度变化。

B.46

math

y=f(u),\qquad u=g(x)

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.47

math

\frac{dy}{dx}
=
\frac{dy}{du}\frac{du}{dx}

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.48

math

\lVert\mathbf{a}-\mathbf{b}\rVert_2^2
=
\sum_{k=1}^{C}(a_k-b_k)^2

变量解释：

$‘ C ‘$ ：向量维度或类别数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ a_{k} ‘$ ：第 $‘ k ‘$ 个 logit 或分量。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.49

math

\mathrm{MSE}(\mathbf{a},\mathbf{b})
=
\frac{1}{C}
\sum_{k=1}^{C}(a_k-b_k)^2

变量解释：

$‘ MSE ‘$ ：均方误差。
$‘ C ‘$ ：向量维度或类别数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ a_{k} ‘$ ：第 $‘ k ‘$ 个 logit 或分量。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.50

math

\sigma(t)=\frac{1}{1+e^{-t}}

变量解释：

$‘ σ ‘$ ：标准差。

实例： 当 $‘ t = 0 ‘$ 时，Sigmoid 输出 0.5； $‘ t ‘$ 很大时输出接近 1，很小时接近 0，所以它很适合把一个实数分数压成二分类概率。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.51

math

p_k
=
\frac{e^{a_k}}
{\sum_{j=1}^{K}e^{a_j}}

变量解释：

$‘ K ‘$ ：类别总数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ a_{k} ‘$ ：第 $‘ k ‘$ 个 logit 或分量。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

实例： 若三个 logits 是 1、2、3，Softmax 会把它们转换成三个正数概率，并保证总和为 1；分数 3 对应的类别会获得最大的概率。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.52

math

\sum_{k=1}^{K}p_k
=
\frac{\sum_{k=1}^{K}e^{a_k}}
{\sum_{j=1}^{K}e^{a_j}}
=1

变量解释：

$‘ K ‘$ ：类别总数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ a_{k} ‘$ ：第 $‘ k ‘$ 个 logit 或分量。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

实例： 若三个 logits 是 1、2、3，Softmax 会把它们转换成三个正数概率，并保证总和为 1；分数 3 对应的类别会获得最大的概率。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.53

math

f''(x)>0

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.54

math

f''(x)<0

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.55

math

\log\mathbb{E}[U]
\ge
\mathbb{E}[\log U]

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.56

math

x_1 \approx x_2 \quad \Rightarrow \quad y_1 \approx y_2

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.57

math

\hat R(\theta)
=
\frac{1}{N}
\sum_{i=1}^{N}
\ell(f_\theta(x_i),y_i)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ \hat{R} ‘$ ：经验风险，即训练样本上的平均损失。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.58

math

\min_\theta \hat R(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ \hat{R} ‘$ ：经验风险，即训练样本上的平均损失。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.59

math

L_{\text{BCE}}
=
-\left[y\log \hat y+(1-y)\log(1-\hat y)\right]

变量解释：

$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.60

math

P(Y=y\mid \hat y)
=
\hat y^{\,y}(1-\hat y)^{1-y}

变量解释：

$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.61

math

\log P(Y=y\mid\hat y)
=
y\log\hat y+(1-y)\log(1-\hat y)

变量解释：

$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.62

math

L_{\mathrm{BCE}}
=-\log P(Y=y\mid\hat y)
=-\left[y\log\hat y+(1-y)\log(1-\hat y)\right]

变量解释：

$‘ L_{BCE} ‘$ ：二分类交叉熵损失。
$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ y ‘$ ：标签、类别变量或目标值。

实例： 真实标签为 1 时，如果模型预测 $‘ \hat{y} = 0.9 ‘$ ，损失是 $‘ - \log 0.9 ‘$ ，很小；如果只预测 0.1，损失会明显变大。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.63

math

L_{\text{CE}}
=
-\sum_{k=1}^{K}y_k\log p_k

变量解释：

$‘ K ‘$ ：类别总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ k ‘$ ：类别或向量分量索引。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ y_{k} ‘$ ：真实标签在第 $‘ k ‘$ 类上的 one-hot 指示值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.64

math

\mathbf p=(p_1,p_2,\ldots,p_K),
\qquad
\sum_{k=1}^{K}p_k=1

变量解释：

$‘ p ‘$ ：类别概率向量。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.65

math

\mathbf y=(y_1,\ldots,y_K)

变量解释：

$‘ y ‘$ ：one-hot 标签向量。
$‘ K ‘$ ：类别总数。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.66

math

P(\mathbf y\mid\mathbf p)
=
\prod_{k=1}^{K}p_k^{y_k}

变量解释：

$‘ p ‘$ ：类别概率向量。
$‘ y ‘$ ：one-hot 标签向量。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ y_{k} ‘$ ：真实标签在第 $‘ k ‘$ 类上的 one-hot 指示值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.67

math

L_{\text{MSE}}
=
\frac{1}{N}\sum_{i=1}^{N}(\hat y_i-y_i)^2

变量解释：

$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.68

math

R_{L2}(\theta)=\lambda\sum_j\theta_j^2

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.69

math

p(\theta\mid D)
\propto
p(D\mid\theta)p(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.70

math

p(\theta_j)
\propto
\exp\left(-\frac{\theta_j^2}{2\tau^2}\right)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ τ ‘$ ：先验分布的尺度参数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.71

math

R_{L2}(\theta)\propto\sum_j\theta_j^2

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.72

math

p(\theta_j)\propto\exp(-\lambda|\theta_j|)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.73

math

R_{L1}(\theta)\propto\sum_j|\theta_j|

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.74

math

1583\times128\approx202624

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.75

math

\log D(x)

变量解释：

$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.76

math

\min_G\max_D V(D,G)

变量解释：

$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ V ‘$ ：GAN 的对抗目标函数。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.77

math

\sum_{k=1}^{K}p(y=k\mid x,D)=1

变量解释：

$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.78

math

H[p]
=
-\sum_{k=1}^{K}p_k\log p_k

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.79

math

\mathbf p=(p_1,\ldots,p_K),
\qquad
\sum_{k=1}^{K}p_k=1

变量解释：

$‘ p ‘$ ：类别概率向量。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.80

math

H(\mathbf p)=-\sum_{k=1}^{K}p_k\log p_k

变量解释：

$‘ p ‘$ ：类别概率向量。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.81

math

H(1,0,\ldots,0)=0

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.82

math

p_k=\frac1K

变量解释：

$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.83

math

H(\mathbf p)
=-K\cdot\frac1K\log\frac1K
=\log K

变量解释：

$‘ p ‘$ ：类别概率向量。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ K ‘$ ：类别总数。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.84

math

H[p(y\mid x_i,D)]
=
-\sum_{k=1}^{K}
p(y=k\mid x_i,D)
\log p(y=k\mid x_i,D)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ K ‘$ ：类别总数。
$‘ i ‘$ ：样本索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.85

math

E_{x\sim X}
[H[p(y\mid x,D)]]
=
\frac{1}{N}
\sum_{i=1}^{N}
H[p(y\mid x_i,D)]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.86

math

\bar p_D(y=k)
=
\mathbb E_{x\sim X}
[p(y=k\mid x,D)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.87

math

\bar p_D(y=k)
\approx
\frac1N\sum_{i=1}^{N}p(y=k\mid x_i,D)

变量解释：

$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.88

math

H_X[p(y\mid D)]
=
-\sum_{k=1}^{K}
\bar p_D(y=k)
\log\bar p_D(y=k)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.89

math

\mathbb E_{x\sim X}
[H(p(y\mid x,D))]
=
\frac1N\sum_{i=1}^{N}
\left[
-\sum_{k=1}^{K}
 p(y=k\mid x_i,D)
 \log p(y=k\mid x_i,D)
\right]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ K ‘$ ：类别总数。
$‘ i ‘$ ：样本索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.90

math

I(X;Y\mid D)= H_X[p(y\mid D)]-
\mathbb E_{x\sim X}[H(p(y\mid x,D))]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.91

math

E_{z\sim P(z)}
[H[p(y\mid G(z),D)]]
\approx
\frac{1}{M}
\sum_{i=1}^{M}
H[p(y\mid G(z_i),D)]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。
$‘ i ‘$ ：样本索引。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.92

math

\mathbb E_{z\sim P(z)}[g(z)]
=
\int P(z)g(z)\,dz

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.93

math

z_i\overset{\text{i.i.d.}}{\sim}P(z)

变量解释：

$‘ d ‘$ ：潜变量或向量的维度。
$‘ i ‘$ ：样本索引。
$‘ z ‘$ ：隐变量 / 潜变量。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.94

math

\frac1M\sum_{i=1}^{M}g(z_i)

变量解释：

$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。
$‘ i ‘$ ：样本索引。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.95

math

g(z)=H[p(y\mid G(z),D)]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.96

math

L_D
=
\max_D
\left[H_X[p(y\mid D)]-
E_{x\sim X}[H[p(y\mid x,D)]]
+E_{z\sim P(z)}[H[p(y\mid G(z),D)]]\right]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.97

math

H_X[p(y\mid D)]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.98

math

\mathbb E_{x\sim X}
[H(p(y\mid x,D))]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.99

math

-\mathbb E_{x\sim X}
[H(p(y\mid x,D))]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.100

math

+\mathbb E_{z\sim P(z)}
[H(p(y\mid G(z),D))]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.101

math

L_D
=
\max_D
\left[
H_X[p(y\mid D)]- \mathbb E_{x\sim X}[H(p(y\mid x,D))]
+\mathbb E_{z\sim P(z)}[H(p(y\mid G(z),D))]
\right]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.102

math

H_G[p(y\mid D)]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.103

math

\mathbb E_{z\sim P(z)}
[H(p(y\mid G(z),D))]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.104

math

I(Y;G(Z)\mid D)
=
H(Y\mid D)-H(Y\mid G(Z),D)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.105

math

z\sim P(z),\qquad x_{\text{fake}}=G(z)

变量解释：

$‘ G ‘$ ：GAN 的生成器。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.106

math

R(f)
=
E_{(x,y)\sim P}
[\ell(f(x),y)]

变量解释：

$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.107

math

R(f)
=
\mathbb E_{(X,Y)\sim P}
[\ell(f(X),Y)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f ‘$ ：函数或预测模型。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.108

math

R(f)
=
\iint
\ell(f(x),y)
p(x,y)\,dx\,dy

变量解释：

$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.109

math

\hat R(f)
=
\frac{1}{n}
\sum_{i=1}^{n}
\ell(f(x_i),y_i)

变量解释：

$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ \hat{R} ‘$ ：经验风险，即训练样本上的平均损失。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f ‘$ ：函数或预测模型。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.110

math

\hat R_n(f)
=
\frac1n\sum_{i=1}^{n}
\ell(f(x_i),y_i)
\approx
R(f)

变量解释：

$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ \hat{R} ‘$ ：经验风险，即训练样本上的平均损失。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ f ‘$ ：函数或预测模型。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.111

math

c=f(x)

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.112

math

h^{(1)}=\rho(W_1x+b_1)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.113

math

h^{(2)}=\rho(W_2h^{(1)}+b_2)

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.114

math

c=W_3h^{(2)}+b_3

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.115

math

\hat x=g(c)

变量解释：

$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.116

math

q_\phi(z\mid x)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.117

math

p_\theta(x\mid z)

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.118

math

p_\theta(x)
=
\int p_\theta(x\mid z)p(z)\,dz

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.119

math

p_\theta(x,z)
=
p_\theta(x\mid z)p(z)

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.120

math

p_\theta(x)
=
\int p_\theta(x,z)\,dz

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.121

math

D_{\mathrm{KL}}(P\|Q)
=
\sum_{x\in X}
P(x)
\log
\frac{P(x)}{Q(x)}

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.122

math

[-\log Q(x)]-[-\log P(x)]
=
\log\frac{P(x)}{Q(x)}

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.123

math

\mathbb E_{x\sim P}
\left[
\log\frac{P(x)}{Q(x)}
\right]
=
D_{\mathrm{KL}}(P\|Q)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.124

math

D_{\mathrm{KL}}(P\|Q)
=
\int
p(x)
\log
\frac{p(x)}{q(x)}
\,dx

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.125

math

D_{\mathrm{KL}}(P\|Q)\ge0

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.126

math

D_{\mathrm{KL}}(P\|Q)\ne D_{\mathrm{KL}}(Q\|P)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.127

math

D_{\mathrm{KL}}(P\|Q)
=
-\mathbb E_{x\sim P}
\left[
\log\frac{Q(x)}{P(x)}
\right]

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.128

math

\mathbb E_P
\left[
\log\frac{Q(X)}{P(X)}
\right]
\le
\log
\mathbb E_P
\left[
\frac{Q(X)}{P(X)}
\right]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.129

math

\mathbb E_P
\left[
\frac{Q(X)}{P(X)}
\right]
=
\sum_x P(x)\frac{Q(x)}{P(x)}
=
\sum_xQ(x)
=1

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.130

math

\mathbb E_P
\left[
\log\frac{Q(X)}{P(X)}
\right]
\le
\log1=0

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.131

math

M=\frac{1}{2}(P+Q)

变量解释：

$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.132

math

JS(P\|Q)=JS(Q\|P)

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.133

math

M=\frac12(P+Q)

变量解释：

$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.134

math

L(\theta)
=
\prod_{i=1}^{n}
p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

实例： 假设模型认为三个已经观察到的独立样本概率分别为 0.5、0.4、0.8，那么这组数据的似然是 $‘ 0.5 \times 0.4 \times 0.8 = 0.16 ‘$ 。MLE 会寻找让这个值尽可能大的参数。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.135

math

x_1,\ldots,x_n\overset{\text{i.i.d.}}{\sim}p(x;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.136

math

p(x_1,\ldots,x_n;\theta)
=
\prod_{i=1}^{n}p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.137

math

L(\theta;x_1,\ldots,x_n)
=
\prod_{i=1}^{n}p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.138

math

\hat\theta_{\mathrm{MLE}}
=
\mathop{\mathrm{arg\,max}}_\theta L(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ \hat{θ} ‘$ ：参数 $‘ θ ‘$ 的估计值。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.139

math

L(\theta)
=
\prod_{i=1}^{n}
f(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f ‘$ ：函数或预测模型。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.140

math

\log L(\theta)
=
\sum_{i=1}^{n}
\log f(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f ‘$ ：函数或预测模型。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.141

math

L(\theta_1)>L(\theta_2)
\Longleftrightarrow
\log L(\theta_1)>\log L(\theta_2)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.142

math

\mathop{\mathrm{arg\,max}}_\theta L(\theta)
=
\mathop{\mathrm{arg\,max}}_\theta\log L(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.143

math

\log L(\theta)
=
\sum_{i=1}^{n}\log p(x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.144

math

\hat{\theta}
=
\mathop{\mathrm{arg\,max}}_{\theta} L(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.145

math

\frac{d}{d\theta}\log L(\theta)=0

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.146

math

f(x;\mu,\sigma^2)
=
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp
\left[
-\frac{(x-\mu)^2}{2\sigma^2}
\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.147

math

L(\mu,\sigma^2)
=
(2\pi)^{-n/2}
(\sigma^2)^{-n/2}
\exp
\left[
-\frac{1}{2\sigma^2}
\sum_{i=1}^{n}(x_i-\mu)^2
\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.148

math

p(x_i\mid\mu,\sigma^2)
=
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left[-\frac{(x_i-\mu)^2}{2\sigma^2}\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.149

math

L(\mu,\sigma^2)
=
\prod_{i=1}^{n}
\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left[-\frac{(x_i-\mu)^2}{2\sigma^2}\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.150

math

\prod_{i=1}^{n}
\frac{1}{\sqrt{2\pi\sigma^2}}
=
(2\pi\sigma^2)^{-n/2}

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ π ‘$ ：圆周率。
$‘ i ‘$ ：样本索引。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.151

math

\prod_{i=1}^{n}
\exp\left[-\frac{(x_i-\mu)^2}{2\sigma^2}\right]
=
\exp\left[
-\frac{1}{2\sigma^2}
\sum_{i=1}^{n}(x_i-\mu)^2
\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.152

math

L(\mu,\sigma^2)
=
(2\pi\sigma^2)^{-n/2}
\exp\left[
-\frac{1}{2\sigma^2}
\sum_{i=1}^{n}(x_i-\mu)^2
\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.153

math

\log L
=
-\frac{n}{2}\log(2\pi)
-\frac{n}{2}\log\sigma^2
-\frac{1}{2\sigma^2}
\sum_{i=1}^{n}(x_i-\mu)^2

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.154

math

\ell(\mu,\sigma^2)
=
\log L(\mu,\sigma^2)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.155

math

\log(a^b)=b\log a,
\qquad
\log(e^u)=u

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.156

math

\ell(\mu,\sigma^2)
=
-\frac n2\log(2\pi)
-\frac n2\log\sigma^2
-\frac{1}{2\sigma^2}
\sum_{i=1}^{n}(x_i-\mu)^2

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ π ‘$ ：圆周率。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.157

math

\hat{\mu}=\bar{X}

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.158

math

\bar{X}
=
\frac{1}{n}
\sum_{i=1}^{n}X_i

变量解释：

$‘ i ‘$ ：样本索引。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.159

math

\hat\sigma^2
=
\frac{1}{n}
\sum_{i=1}^{n}
(X_i-\bar{X})^2

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ \hat{σ} ‘$ ：标准差 $‘ σ ‘$ 的估计值。
$‘ i ‘$ ：样本索引。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.160

math

\frac{\partial\ell}{\partial\mu}
=
-\frac{1}{2\sigma^2}
\sum_{i=1}^{n}
2(x_i-\mu)(-1)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.161

math

\frac{\partial\ell}{\partial\mu}
=
\frac{1}{\sigma^2}
\sum_{i=1}^{n}(x_i-\mu)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.162

math

\sum_{i=1}^{n}(x_i-\mu)=0

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.163

math

\sum_{i=1}^{n}x_i-n\mu=0

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.164

math

\hat\mu
=
\frac1n\sum_{i=1}^{n}x_i
=
\bar x

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ \hat{μ} ‘$ ：均值 $‘ μ ‘$ 的估计值。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.165

math

v=\sigma^2

变量解释：

$‘ σ^{2} ‘$ ：方差。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.166

math

\ell(v)
=
-\frac n2\log v
-\frac{1}{2v}
\sum_{i=1}^{n}(x_i-\mu)^2
+
\text{常数}

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.167

math

\frac{\partial\ell}{\partial v}
=
-\frac{n}{2v}
+
\frac{1}{2v^2}
\sum_{i=1}^{n}(x_i-\mu)^2

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ℓ ‘$ ：对数似然或单样本损失，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.168

math

-nv+
\sum_{i=1}^{n}(x_i-\mu)^2
=0

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.169

math

\hat v
=
\frac1n
\sum_{i=1}^{n}(x_i-\mu)^2

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.170

math

\hat\sigma^2_{\mathrm{MLE}}
=
\frac1n\sum_{i=1}^{n}(x_i-\bar x)^2

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ \hat{σ} ‘$ ：标准差 $‘ σ ‘$ 的估计值。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.171

math

u=u(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.172

math

\hat u=u(\hat\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ \hat{θ} ‘$ ：参数 $‘ θ ‘$ 的估计值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.173

math

E[f(X)]
\ge
f(E[X])

变量解释：

$‘ f ‘$ ：函数或预测模型。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.174

math

\bar x
=
\lambda x_1+(1-\lambda)x_2

变量解释：

$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.175

math

f(\lambda x_1+(1-\lambda)x_2)
\le
\lambda f(x_1)+(1-\lambda)f(x_2)

变量解释：

$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.176

math

\sum_i p_i=1

变量解释：

$‘ i ‘$ ：样本索引。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.177

math

f\left(\sum_i p_ix_i\right)
\le
\sum_i p_if(x_i)

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.178

math

f(\mathbb E[X])
\le
\mathbb E[f(X)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ f ‘$ ：函数或预测模型。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.179

math

\frac{d^2}{dx^2}\log x
=
-\frac1{x^2}<0
\qquad(x>0)

变量解释：

$‘ d ‘$ ：潜变量或向量的维度。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.180

math

\log\mathbb E[U]
\ge
\mathbb E[\log U]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.181

math

E[f(X)]
\le
f(E[X])

变量解释：

$‘ f ‘$ ：函数或预测模型。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.182

math

x=(x_1,x_2,\ldots,x_n)

变量解释：

$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.183

math

z=(z_1,z_2,\ldots,z_n)

变量解释：

$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.184

math

\log L(\theta)
=
\sum_{i=1}^{n}
\log
\sum_{z_i}
p(x_i,z_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.185

math

\log p(x;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.186

math

p(x;\theta)
=
\sum_z p(x,z;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.187

math

\log p(x;\theta)
=
\log\sum_z p(x,z;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.188

math

Q_i(z_i)

变量解释：

$‘ i ‘$ ：样本索引。
$‘ z ‘$ ：隐变量 / 潜变量。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.189

math

\sum_{z_i}Q_i(z_i)=1

变量解释：

$‘ i ‘$ ：样本索引。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.190

math

Q(z)\ge0,
\qquad
\sum_zQ(z)=1

变量解释：

$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.191

math

\sum_z p(x,z;\theta)
=
\sum_z
Q(z)
\frac{p(x,z;\theta)}{Q(z)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.192

math

\sum_z
Q(z)
\frac{p(x,z;\theta)}{Q(z)}
=
\mathbb E_{z\sim Q}
\left[
\frac{p(x,z;\theta)}{Q(z)}
\right]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.193

math

\log
\sum_{z_i}
Q_i(z_i)
\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.194

math

\log
\sum_{z_i}
Q_i(z_i)
\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}
\ge
\sum_{z_i}
Q_i(z_i)
\log
\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.195

math

\sum_{i=1}^{n}
\log
\sum_{z_i}
p(x_i,z_i;\theta)
\ge
\sum_{i=1}^{n}
\sum_{z_i}
Q_i(z_i)
\log
\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.196

math

\log p(x;\theta)
=
\log
\mathbb E_{z\sim Q}
\left[
\frac{p(x,z;\theta)}{Q(z)}
\right]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.197

math

\log p(x;\theta)
\ge
\mathbb E_{z\sim Q}
\left[
\log
\frac{p(x,z;\theta)}{Q(z)}
\right]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.198

math

\log p(x;\theta)
\ge
\sum_zQ(z)
\log\frac{p(x,z;\theta)}{Q(z)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.199

math

\mathcal F(Q,\theta)
=
\sum_zQ(z)
\log\frac{p(x,z;\theta)}{Q(z)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.200

math

\mathcal F(Q,\theta)
=
\sum_zQ(z)\log p(x,z;\theta)
-
\sum_zQ(z)\log Q(z)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.201

math

H(Q)
=-\sum_zQ(z)\log Q(z)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.202

math

\mathcal F(Q,\theta)
=
\mathbb E_Q[\log p(x,z;\theta)]
+
H(Q)

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.203

math

Q_i(z_i)
=
p(z_i\mid x_i,\theta_j)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.204

math

p(z\mid x;\theta)
=
\frac{p(x,z;\theta)}{p(x;\theta)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.205

math

\log p(x,z;\theta)
=
\log p(z\mid x;\theta)
+
\log p(x;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.206

math

\mathcal F(Q,\theta)
=
\mathbb E_Q
[\log p(z\mid x;\theta)]
+
\log p(x;\theta)
-
\mathbb E_Q[\log Q(z)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.207

math

D_{\mathrm{KL}}
\bigl(Q(z)\|p(z\mid x;\theta)\bigr)
=
\mathbb E_Q
\left[
\log\frac{Q(z)}{p(z\mid x;\theta)}
\right]

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.208

math

\log p(x;\theta)
=
\mathcal F(Q,\theta)
+
D_{\mathrm{KL}}
\bigl(Q(z)\|p(z\mid x;\theta)\bigr)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.209

math

Q(z)=p(z\mid x;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.210

math

Q_j(z)=p(z\mid x;\theta_j)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.211

math

Q_i(z_i)
=
\frac{p(x_i,z_i;\theta)}
{\sum_{z_i'}p(x_i,z_i';\theta)}
=
p(z_i\mid x_i;\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.212

math

\theta_{j+1}
=
\mathop{\mathrm{arg\,max}}_{\theta}
\sum_{i=1}^{n}
\sum_{z_i}
Q_i(z_i)
\log
\frac{p(x_i,z_i;\theta)}{Q_i(z_i)}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.213

math

\mathcal F(Q_j,\theta)
=
\mathbb E_{Q_j}[\log p(x,z;\theta)]
+
H(Q_j)

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.214

math

\theta_{j+1}
=
\mathop{\mathrm{arg\,max}}_\theta
\mathbb E_{z\sim p(z\mid x;\theta_j)}
[\log p(x,z;\theta)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.215

math

Q(\theta\mid\theta_j)
=
\mathbb E_{z\sim p(z\mid x;\theta_j)}
[\log p(x,z;\theta)]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.216

math

\theta_{j+1}
=
\mathop{\mathrm{arg\,max}}_\theta
Q(\theta\mid\theta_j)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.217

math

\mathcal F(Q_j,\theta_j)
=
\log p(x;\theta_j)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.218

math

\mathcal F(Q_j,\theta_{j+1})
\ge
\mathcal F(Q_j,\theta_j)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.219

math

\log p(x;\theta_{j+1})
\ge
\mathcal F(Q_j,\theta_{j+1})

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.220

math

\log p(x;\theta_{j+1})
\ge
\log p(x;\theta_j)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.221

math

\log p_\theta(x)

变量解释：

$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.222

math

p_\theta(x)
=
\int p_\theta(x,z)\,dz
=
\int p_\theta(x\mid z)p(z)\,dz

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.223

math

p_\theta(z\mid x)
=
\frac{p_\theta(x\mid z)p(z)}{p_\theta(x)}

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.224

math

\log p_\theta(x)
=
\log
\int
q_\phi(z\mid x)
\frac{p_\theta(x,z)}
{q_\phi(z\mid x)}
\,dz

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.225

math

\log p_\theta(x)
=
\log\int p_\theta(x,z)\,dz

变量解释：

$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.226

math

\log p_\theta(x)
=
\log\int
q_\phi(z\mid x)
\frac{p_\theta(x,z)}{q_\phi(z\mid x)}
\,dz

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.227

math

\log p_\theta(x)
=
\log
\mathbb E_{z\sim q_\phi(z\mid x)}
\left[
\frac{p_\theta(x,z)}{q_\phi(z\mid x)}
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.228

math

\log p_\theta(x)
\ge
\mathbb E_{q_\phi(z\mid x)}
\left[
\log
\frac{p_\theta(x,z)}{q_\phi(z\mid x)}
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.229

math

\mathcal L(\theta,\phi;x)
=
\mathbb E_{q_\phi(z\mid x)}
\left[
\log p_\theta(x,z)
-
\log q_\phi(z\mid x)
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.230

math

\log p_\theta(x)
\ge
\mathcal L(\theta,\phi;x)

变量解释：

$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.231

math

\log p_\theta(x)
\ge
\int
q_\phi(z\mid x)
\log
\frac{p_\theta(x,z)}
{q_\phi(z\mid x)}
\,dz

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.232

math

D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|p_\theta(z\mid x)
\right)
=
\mathbb E_q
\left[
\log\frac{q_\phi(z\mid x)}{p_\theta(z\mid x)}
\right]

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.233

math

p_\theta(z\mid x)
=
\frac{p_\theta(x,z)}{p_\theta(x)}

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.234

math

D_{\mathrm{KL}}(q\|p_\theta(z\mid x))
=
\mathbb E_q
\left[
\log q_\phi(z\mid x)
-
\log p_\theta(x,z)
+
\log p_\theta(x)
\right]

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.235

math

D_{\mathrm{KL}}(q\|p_\theta(z\mid x))
=
\log p_\theta(x)
-
\mathcal L(\theta,\phi;x)

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.236

math

\boxed{
\log p_\theta(x)
=
\mathcal L(\theta,\phi;x)
+
D_{\mathrm{KL}}
\left(
q_\phi(z\mid x)
\|p_\theta(z\mid x)
\right)
}

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.237

math

D_{\mathrm{KL}}(q\|p_\theta(z\mid x))\ge0

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.238

math

\mathcal L(\theta,\phi;x)
\le
\log p_\theta(x)

变量解释：

$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.239

math

q_\phi(z\mid x)=p_\theta(z\mid x)

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.240

math

\mathrm{ELBO}(\theta,\phi)
=
\mathbb{E}_{q_\phi(z\mid x)}
\left[
\log p_\theta(x,z)
-
\log q_\phi(z\mid x)
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.241

math

\mathrm{ELBO}(\theta,\phi)
=
\mathbb{E}_{z\sim q_\phi(z\mid x)}
\!\left[\log p_\theta(x\mid z)\right]
-
D_{\mathrm{KL}}\!\left(
q_\phi(z\mid x)\,\|\,p(z)
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.242

math

\mathcal L
=
\mathbb E_q
\left[
\log p_\theta(x,z)-\log q_\phi(z\mid x)
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.243

math

p_\theta(x,z)=p_\theta(x\mid z)p(z)

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p_{θ} (x, z) ‘$ ：参数为 $‘ θ ‘$ 时观测变量与潜变量的联合分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.244

math

\mathcal L
=
\mathbb E_q
\left[
\log p_\theta(x\mid z)
+
\log p(z)
-
\log q_\phi(z\mid x)
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.245

math

\mathcal L
=
\mathbb E_q[\log p_\theta(x\mid z)]
+
\mathbb E_q
\left[
\log p(z)-\log q_\phi(z\mid x)
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.246

math

\mathbb E_q
\left[
\log p(z)-\log q_\phi(z\mid x)
\right]
=
-\mathbb E_q
\left[
\log\frac{q_\phi(z\mid x)}{p(z)}
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.247

math

D_{\mathrm{KL}}
(q_\phi(z\mid x)\|p(z))
=
\mathbb E_q
\left[
\log\frac{q_\phi(z\mid x)}{p(z)}
\right]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.248

math

\boxed{
\mathcal L(\theta,\phi;x)
=
\mathbb E_{q_\phi(z\mid x)}
[\log p_\theta(x\mid z)]
-
D_{\mathrm{KL}}
(q_\phi(z\mid x)\|p(z))
}

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.249

math

q_\phi(z\mid x)
=
\mathcal N
\left(
\mu,\mathrm{diag}(\sigma_1^2,\ldots,\sigma_d^2)
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.250

math

p(z)=\mathcal N(0,I)

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.251

math

q(z)=\mathcal N(\mu,\sigma^2),
\qquad
p(z)=\mathcal N(0,1)

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.252

math

D_{\mathrm{KL}}(q\|p)
=
\mathbb E_q[\log q(z)-\log p(z)]

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.253

math

\log q(z)
=
-\frac12\log(2\pi\sigma^2)
-
\frac{(z-\mu)^2}{2\sigma^2}

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ π ‘$ ：圆周率。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.254

math

\log p(z)
=
-\frac12\log(2\pi)
-
\frac{z^2}{2}

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ π ‘$ ：圆周率。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.255

math

\mathbb E_q[(z-\mu)^2]=\sigma^2

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.256

math

\mathbb E_q[z^2]
=
\mathrm{Var}(z)+(\mathbb E[z])^2
=
\sigma^2+\mu^2

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ Var ‘$ ：方差算子。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.257

math

D_{\mathrm{KL}}
(\mathcal N(\mu,\sigma^2)\|\mathcal N(0,1))
=
\frac12
\left(
\mu^2+\sigma^2-\log\sigma^2-1
\right)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ N ‘$ ：样本总数或求和项总数。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.258

math

\boxed{
D_{\mathrm{KL}}(q\|p)
=
\frac12
\sum_{j=1}^{d}
\left(
\mu_j^2+
\sigma_j^2-
\log\sigma_j^2-
1
\right)
}

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.259

math

L_{\mathrm{KL}}
=
-\frac12
\sum_{j=1}^{d}
\left(
1+
\log\sigma_j^2-
\mu_j^2-
\sigma_j^2
\right)

变量解释：

$‘ L_{KL} ‘$ ：VAE 中由 KL 散度得到的正则项。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.260

math

\log p_\theta(x)
=
\mathrm{ELBO}(\theta,\phi)
+
D_{\mathrm{KL}}\!\left(
q_\phi(z\mid x)\,\|\,p_\theta(z\mid x)
\right)

变量解释：

$‘ p_{θ} (z ∣ x) ‘$ ：模型在给定观测 $‘ x ‘$ 时的真实后验分布。
$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.261

math

D_{\mathrm{KL}}\!\left(
q_\phi(z\mid x)\,\|\,p(z)
\right)

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.262

math

p(\epsilon)
=
\mathcal{N}(\epsilon;0,I)

变量解释：

$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.263

math

q_\phi(z\mid x^{(i)})
=
N\!\left(
z;
\mu^{(i)},
(\sigma^{(i)})^2I
\right)

变量解释：

$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.264

math

p(z)=\mathcal{N}(z;0,I)

变量解释：

$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.265

math

z
=
\mu+\sigma\odot\epsilon

变量解释：

$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.266

math

\varepsilon\sim\mathcal N(0,I)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.267

math

z=\mu+\sigma\odot\varepsilon

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.268

math

\mathbb E[\varepsilon]=0,
\qquad
\mathrm{Var}(\varepsilon)=1

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ Var ‘$ ：方差算子。
$‘ ε ‘$ ：从标准正态分布采样的随机噪声。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.269

math

\mathbb E[z]
=
\mathbb E[\mu+\sigma\varepsilon]
=
\mu

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.270

math

\mathrm{Var}(z)
=
\mathrm{Var}(\sigma\varepsilon)
=
\sigma^2\mathrm{Var}(\varepsilon)
=
\sigma^2

变量解释：

$‘ Var ‘$ ：方差算子。
$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ^{2} ‘$ ：方差。
$‘ σ ‘$ ：标准差。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.271

math

z\sim\mathcal N(\mu,\sigma^2)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ z ‘$ ：隐变量 / 潜变量。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.272

math

z\sim
\mathcal N
(\mu,\mathrm{diag}(\sigma^2))

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ z ‘$ ：隐变量 / 潜变量。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.273

math

\mathbb E_{z\sim q_\phi(z\mid x)}
[f_\theta(z)]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.274

math

z=g_\phi(x,\varepsilon)
=
\mu_\phi(x)+
\sigma_\phi(x)\odot\varepsilon,
\qquad
\varepsilon\sim\mathcal N(0,I)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.275

math

\mathbb E_{\varepsilon\sim\mathcal N(0,I)}
[f_\theta(g_\phi(x,\varepsilon))]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.276

math

\phi
\to
\mu_\phi,\sigma_\phi
\to
z
\to
f_\theta(z)

变量解释：

$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ z ‘$ ：隐变量 / 潜变量。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.277

math

z
=
\mu
+
\epsilon\odot
\exp\left(\frac{\log\sigma^2}{2}\right)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.278

math

\text{logvar}=\log\sigma^2

变量解释：

$‘ σ^{2} ‘$ ：方差。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.279

math

\sigma^2=\exp(\text{logvar})

变量解释：

$‘ σ^{2} ‘$ ：方差。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.280

math

\sigma
=
\sqrt{\sigma^2}
=
\exp\left(\frac12\text{logvar}\right)

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ σ ‘$ ：标准差。

实例： 若方差是 9，那么标准差就是 $‘ σ = \sqrt{9} = 3 ‘$ 。标准差与原数据使用同一量纲，所以通常比方差更直观。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.281

math

z
=
\mu+
\varepsilon\odot
\exp\left(\frac12\text{logvar}\right)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ ⊙ ‘$ ：逐元素乘法（Hadamard product）。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.282

math

\bar{L}^{B}(\theta,\phi;x^{(i)})
=
-KL\!\left(
q_\phi(z\mid x^{(i)})
\|p_\theta(z)
\right)
+
\frac{1}{L}
\sum_{l=1}^{L}
\log p_\theta
\left(
x^{(i)}
\mid
z^{(i,l)}
\right)

变量解释：

$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ l ‘$ ：蒙特卡洛采样索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.283

math

\mathcal L(x)
=
- D_{\mathrm{KL}}(q_\phi(z\mid x)\|p(z))
+
\mathbb E_{z\sim q_\phi(z\mid x)}
[\log p_\theta(x\mid z)]

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.284

math

z^{(l)}
=
g_\phi(x,\varepsilon^{(l)}),
\qquad
l=1,\ldots,L

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ l ‘$ ：蒙特卡洛采样索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.285

math

\mathbb E_q[\log p_\theta(x\mid z)]
\approx
\frac1L\sum_{l=1}^{L}
\log p_\theta(x\mid z^{(l)})

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ l ‘$ ：蒙特卡洛采样索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.286

math

\bar{\mathcal L}(x)
=
-D_{\mathrm{KL}}(q_\phi(z\mid x)\|p(z))
+
\frac1L\sum_{l=1}^{L}
\log p_\theta(x\mid z^{(l)})

变量解释：

$‘ q_{ϕ} (z ∣ x) ‘$ ：编码器给出的近似后验分布。
$‘ p (z) ‘$ ：潜变量的先验分布。
$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ l ‘$ ：蒙特卡洛采样索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。
$‘ q ‘$ ：用于近似目标分布的辅助 / 变分分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.287

math

\mathcal L_{\mathrm{total}}
=
\sum_{i=1}^{N}\mathcal L(x_i)

变量解释：

$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ L_{total} ‘$ ：总训练目标 / 总损失。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.288

math

\sum_{i\in\mathcal B}\mathcal L(x_i)

变量解释：

$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ B ‘$ ：当前 minibatch 中的样本索引集合。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.289

math

\widehat{\mathcal L}_{\mathrm{total}}
=
\frac{N}{M}
\sum_{i\in\mathcal B}\mathcal L(x_i)

变量解释：

$‘ L ‘$ ：目标函数或证据下界（具体含义由当前小节决定）。
$‘ B ‘$ ：当前 minibatch 中的样本索引集合。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.290

math

p_\theta(x_i\mid z)
=
y_i^{x_i}
(1-y_i)^{1-x_i}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.291

math

p_\theta(x_i\mid z)
=
y_i^{x_i}(1-y_i)^{1-x_i}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.292

math

-\log p_\theta(x_i\mid z)
=
-\left[
x_i\log y_i
+
(1-x_i)\log(1-y_i)
\right]

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.293

math

L_{\mathrm{recon}}
=
-\sum_i
\left[
x_i\log y_i
+
(1-x_i)\log(1-y_i)
\right]

变量解释：

$‘ L_{recon} ‘$ ：VAE 的重构损失。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.294

math

p_\theta(x^{(i)}\mid z)
=
N
\left(
x^{(i)};
\mu'^{(i)},
(\sigma'^{(i)})^2I
\right)

变量解释：

$‘ σ ‘$ ：标准差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.295

math

p_\theta(x\mid z)
=
\mathcal N(x;\mu_\theta(z),\sigma^2I)

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.296

math

-\log p_\theta(x\mid z)
=
\text{常数}
+
\frac{1}{2\sigma^2}
\lVert x-\mu_\theta(z)\rVert_2^2

变量解释：

$‘ p_{θ} (x ∣ z) ‘$ ：给定潜变量 $‘ z ‘$ 时生成观测 $‘ x ‘$ 的条件分布，也就是解码器分布。
$‘ σ^{2} ‘$ ：方差。
$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.297

math

\mu=W_7h+b_7

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.298

math

y=Wh+b

变量解释：

$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.299

math

y_j
=
\sum_{k=1}^{m}W_{jk}h_k+b_j

变量解释：

$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.300

math

\sigma=W_8h+b_8

变量解释：

$‘ σ ‘$ ：标准差。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.301

math

\mu'=W_4h'+b_4

变量解释：

$‘ μ ‘$ ：均值；在 VAE 中通常指编码器输出的潜变量均值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.302

math

\sigma'=W_5h'+b_5

变量解释：

$‘ σ ‘$ ：标准差。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.303

math

x_i\approx x_j

变量解释：

$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.304

math

f(x_i)\approx f(x_j)

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.305

math

f(x_i)=f(x_j)=\hat y

变量解释：

$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ f ‘$ ：函数或预测模型。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.306

math

x'=T(x)

变量解释：

$‘ T ‘$ ：对输入施加的数据增强或扰动变换。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.307

math

f_\theta(x')\approx f_\theta(x)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.308

math

L_{\mathrm{cons}}
=
D\bigl(f_\theta(x),f_\theta(T(x))\bigr)

变量解释：

$‘ L_{cons} ‘$ ：一致性正则损失。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ T ‘$ ：对输入施加的数据增强或扰动变换。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。

实例： 例如把同一张猫的图片轻微裁剪、翻转或加一点噪声，模型前后都应该仍然倾向预测为猫。如果两次输出差很多，一致性损失就会变大。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.309

math

L_{\mathrm{total}}
=
L_{\mathrm{sup}}
+
\lambda_{\mathrm{cons}}L_{\mathrm{cons}}

变量解释：

$‘ L_{cons} ‘$ ：一致性正则损失。
$‘ L_{\sup} ‘$ ：有标签数据上的监督损失。
$‘ L_{total} ‘$ ：总训练目标 / 总损失。
$‘ λ_{cons} ‘$ ：一致性损失的权重系数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

实例： 例如把同一张猫的图片轻微裁剪、翻转或加一点噪声，模型前后都应该仍然倾向预测为猫。如果两次输出差很多，一致性损失就会变大。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.310

math

d_{\text{MSE}}
(f(x_i),f(x_j))
=
\frac{1}{C}
\sum_{k=1}^{C}
\left[
f_k(x_i)-f_k(x_j)
\right]^2

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ C ‘$ ：向量维度或类别数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.311

math

f(x_i)
=
(f_1(x_i),\ldots,f_C(x_i))

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ C ‘$ ：向量维度或类别数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.312

math

\lVert f(x_i)-f(x_j)\rVert_2^2
=
\sum_{k=1}^{C}
[f_k(x_i)-f_k(x_j)]^2

变量解释：

$‘ f ‘$ ：函数或预测模型。
$‘ C ‘$ ：向量维度或类别数。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.313

math

d_{\mathrm{MSE}}
=
\frac1C
\sum_{k=1}^{C}
[f_k(x_i)-f_k(x_j)]^2

变量解释：

$‘ MSE ‘$ ：均方误差。
$‘ f ‘$ ：函数或预测模型。
$‘ C ‘$ ：向量维度或类别数。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ i ‘$ ：样本索引。
$‘ j ‘$ ：维度、参数或类别索引。
$‘ k ‘$ ：类别或向量分量索引。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.314

math

\min \lVert X-X' \rVert_2^2

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.315

math

\lVert X-X'\rVert_2^2
=
\sum_j(X_j-X_j')^2

变量解释：

$‘ j ‘$ ：维度、参数或类别索引。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.316

math

\min\lVert X-X'\rVert_2^2

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

实例： 这条公式主要用于定义当前概念。实际使用时先确定每个符号对应的数据或参数，再代入数值或模型输出进行计算。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.317

math

H=f(x)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ f ‘$ ：函数或预测模型。
$‘ x ‘$ ：观测数据 / 输入样本。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.318

math

\text{总目标} = \text{监督部分}+ \text{无监督部分}+ \text{模型约束}

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.319

math

-\log P(\mathbf y\mid\mathbf p)= -\sum_{k=1}^{K}y_k\log p_k

变量解释：

$‘ p ‘$ ：类别概率向量。
$‘ y ‘$ ：one-hot 标签向量。
$‘ K ‘$ ：类别总数。
$‘ k ‘$ ：类别或向量分量索引。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p_{k} ‘$ ：模型预测属于第 $‘ k ‘$ 类的概率。
$‘ y_{k} ‘$ ：真实标签在第 $‘ k ‘$ 类上的 one-hot 指示值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.320

math

L_{\mathrm{CE}}=-\log p_c

变量解释：

$‘ L_{CE} ‘$ ：多分类交叉熵损失。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.321

math

y_i=f_\theta(x_i)+\varepsilon_i, \qquad \varepsilon_i\sim\mathcal N(0,\sigma^2)

变量解释：

$‘ ε ‘$ ：从标准正态分布采样的随机噪声。
$‘ σ^{2} ‘$ ：方差。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.322

math

p(y_i\mid x_i,\theta)= \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left[-\frac{(y_i-f_\theta(x_i))^2}{2\sigma^2}\right]

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ π ‘$ ：圆周率。
$‘ f_{θ} ‘$ ：参数为 $‘ θ ‘$ 的模型函数。
$‘ f ‘$ ：函数或预测模型。
$‘ i ‘$ ：样本索引。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.323

math

-\log L(\theta)= \text{常数} +\frac{1}{2\sigma^2} \sum_{i=1}^{N} (y_i-\hat y_i)^2

变量解释：

$‘ σ^{2} ‘$ ：方差。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.324

math

\sum_{i=1}^{N}(y_i-\hat y_i)^2

变量解释：

$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.325

math

L_{\mathrm{MSE}}= \frac1N\sum_{i=1}^{N}(y_i-\hat y_i)^2

变量解释：

$‘ L_{MSE} ‘$ ：均方误差损失。
$‘ MSE ‘$ ：均方误差。
$‘ \hat{y} ‘$ ：模型预测值或预测为正类的概率。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ i ‘$ ：样本索引。
$‘ y ‘$ ：标签、类别变量或目标值。

实例： 真实值是 10，模型预测 8，单个样本的平方误差是 $‘ (8 - 10)^{2} = 4 ‘$ 。多个样本时，把这些平方误差加起来再取平均。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.326

math

R_{L1}(\theta)=\lambda\sum_j|\theta_j|

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ j ‘$ ：维度、参数或类别索引。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.327

math

-\log p(\theta\mid D)= -\log p(D\mid\theta)-\log p(\theta)+ \text{常数}

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.328

math

\min_G\max_D V(D,G)= E_{x\sim p_{\text{data}}}[\log D(x)]+ E_{z\sim p_z}[\log(1-D(G(z)))]

变量解释：

$‘ p_{z} ‘$ ：GAN 中噪声或潜变量 $‘ z ‘$ 的先验分布。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ V ‘$ ：GAN 的对抗目标函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.329

math

\log\bigl(1-D(G(z))\bigr)

变量解释：

$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ z ‘$ ：隐变量 / 潜变量。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.330

math

V(D,G)= \mathbb E_{x\sim p_{\mathrm{data}}}[\log D(x)]+\mathbb E_{z\sim p_z}[\log(1-D(G(z)))]

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{z} ‘$ ：GAN 中噪声或潜变量 $‘ z ‘$ 的先验分布。
$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ V ‘$ ：GAN 的对抗目标函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.331

math

p_{\mathrm{data}}(x)\log D(x)+ p_g(x)\log(1-D(x))

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{g} ‘$ ：生成器诱导出的生成数据分布。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.332

math

\frac{p_{\mathrm{data}}(x)}{d} -\frac{p_g(x)}{1-d} =0

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{g} ‘$ ：生成器诱导出的生成数据分布。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ d ‘$ ：潜变量或向量的维度。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.333

math

D^*(x)= \frac{p_{\mathrm{data}}(x)} {p_{\mathrm{data}}(x)+p_g(x)}

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{g} ‘$ ：生成器诱导出的生成数据分布。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.334

math

V(D^*,G)= -\log4+ 2\,JS(p_{\mathrm{data}}\|p_g)

变量解释：

$‘ p_{data} ‘$ ：真实数据分布。
$‘ p_{g} ‘$ ：生成器诱导出的生成数据分布。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ V ‘$ ：GAN 的对抗目标函数。
$‘ g ‘$ ：一般函数；在 VAE 中也可表示重参数化映射。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.335

math

H_X[p(y\mid D)]- E_{x\sim X}[H[p(y\mid x,D)]]= I(y;x\mid D)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.336

math

H_G[p(y\mid D)]- E_{z\sim P(z)}[H[p(y\mid G(z),D)]]= I(y;G(z)\mid D)

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ I ‘$ ：互信息或信息量，具体含义由当前公式决定。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.337

math

JS(P\|Q)= \frac{1}{2}KL(P\|M)+\frac{1}{2}KL(Q\|M)

变量解释：

$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.338

math

JS(P\|Q)= \frac12D_{\mathrm{KL}}(P\|M)+\frac12D_{\mathrm{KL}}(Q\|M)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.339

math

JS(Q\|P)= \frac12D_{\mathrm{KL}}(Q\|M)+ \frac12D_{\mathrm{KL}}(P\|M)

变量解释：

$‘ D_{KL} ‘$ ：KL 散度，用来衡量两个概率分布之间的差异。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ M ‘$ ：minibatch 大小；在 JS 散度中也可表示混合分布。

实例： 假设目标分布认为两个结果各有 50% 概率，而模型却给成 99% 和 1%，两个分布差异很大，KL 会较大；当两者完全一致时 KL 为 0。

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

B.340

math

\sum_{i=1}^{N}a_i=a_1+a_2+\cdots+a_N

变量解释：

$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

实例： 假设三次测验成绩分别是 70、80、90，那么求和就是 $‘ 70 + 80 + 90 = 240 ‘$ 。这里的求和符号只是把“把每一项加起来”写得更紧凑。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.341

math

\bar a=\frac{1}{N}\sum_{i=1}^{N}a_i

变量解释：

$‘ \bar{a} ‘$ ：样本 $‘ a_{1}, \dots, a_{N} ‘$ 的算术平均。
$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

实例： 假设三次测验成绩分别是 70、80、90，那么求和就是 $‘ 70 + 80 + 90 = 240 ‘$ 。这里的求和符号只是把“把每一项加起来”写得更紧凑。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.342

math

\prod_{i=1}^{N}a_i=a_1a_2\cdots a_N

变量解释：

$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

B.343

math

\log(ab)=\log a+\log b

变量解释：

本式没有引入新的自由变量；符号含义沿用上一式。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.344

math

\log\left(\prod_{i=1}^{N}a_i\right)
=
\sum_{i=1}^{N}\log a_i

变量解释：

$‘ N ‘$ ：样本总数或求和项总数。
$‘ i ‘$ ：样本索引。
$‘ a_{i} ‘$ ：第 $‘ i ‘$ 个数值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.345

math

\mathop{\mathrm{arg\,max}}_{\theta}L(\theta)
=
\mathop{\mathrm{arg\,max}}_{\theta}\log L(\theta)

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

B.346

math

\min_{\theta} \left[\sum_{(x,y)\in \mathcal{D}_L} L_s(x,y;\theta)+
\alpha\sum_{x\in X_U}L_u(x;\theta)
+R(\theta)\right]

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ α ‘$ ：无监督损失的权重系数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.347

math

\min_{\theta}
\left[\sum_{(x,y)\in\mathcal D_L}L_s(x,y;\theta)+ \alpha\sum_{x\in X_U}L_u(x;\theta)+
R(\theta)
\right]

变量解释：

$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ α ‘$ ：无监督损失的权重系数。
$‘ D_{L} ‘$ ：有标签数据集。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ y ‘$ ：标签、类别变量或目标值。

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。

B.348

math

L_{\mathrm{total}}(\theta)= L_{\mathrm{data}}(\theta)+\lambda R(\theta)

变量解释：

$‘ L_{total} ‘$ ：总训练目标 / 总损失。
$‘ θ ‘$ ：模型待学习的参数；在 VAE 中通常指生成模型 / 解码器参数。
$‘ λ ‘$ ：正则项或某个损失项的权重系数。
$‘ R ‘$ ：风险函数或正则项，具体含义由当前公式决定。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

B.349

math

L_G =\max_G \left[H_G[p(y\mid D)]-E_{z\sim P(z)}[H[p(y\mid G(z),D)]]\right]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.350

math

L_G = \max_G \left[H_G[p(y\mid D)]- \mathbb E_{z\sim P(z)}[H(p(y\mid G(z),D))]\right]

变量解释：

$‘ E ‘$ ：期望，即按照相应概率分布进行加权平均。
$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

B.351

math

L_D
= \max_D \left[H_X[p(y\mid D)]+E_{z\sim P(z)} H[p(y\mid G(z),D)]\right]

变量解释：

$‘ H ‘$ ：熵，用来描述概率分布的不确定性。
$‘ G ‘$ ：GAN 的生成器。
$‘ D ‘$ ：GAN 的判别器；在距离公式中也可表示距离函数。
$‘ L ‘$ ：蒙特卡洛采样次数或损失函数，具体由上下文决定。
$‘ y ‘$ ：标签、类别变量或目标值。
$‘ z ‘$ ：隐变量 / 潜变量。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 看到 $‘ p (\cdot) ‘$ 时先确认括号里谁是随机变量、竖线右边给定了什么条件，这一步通常能避免把先验、似然和后验混在一起。

B.352

math

\log p_\theta(x)\ge \mathrm{ELBO}(\theta,\phi)

变量解释：

$‘ p_{θ} (x) ‘$ ：模型对观测 $‘ x ‘$ 给出的边缘概率 / 边缘似然。
$‘ ELBO ‘$ ：证据下界（Evidence Lower Bound）。
$‘ ϕ ‘$ ：变分分布 / 编码器的参数。
$‘ x ‘$ ：观测数据 / 输入样本。
$‘ p ‘$ ：概率分布或概率密度。

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

电气与电子工程学院

数理系

学习笔记

HCIP-AI 题目

MindSpore

HCIP知识点学习

半监督学习、GAN、VAE 与变分推断 ​

1. 一张图先串起整门内容 ​

2. 数学基础：后面的公式基本都从这里长出来 ​

2.1 求和、平均与连乘 ​

2.2 对数：把乘法变成加法 ​

2.3 概率、联合概率与条件概率 ​

2.4 贝叶斯公式 ​

2.5 期望、方差与蒙特卡洛近似 ​

2.6 i.i.d. 与似然的连乘 ​

怎么理解： 连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。 ​

3. 信息论：熵、交叉熵、KL、JS 与互信息 ​

3.1 信息量与熵 ​

3.2 条件熵 ​

3.3 互信息 ​

3.4 交叉熵 ​

3.5 KL 散度 ​

3.6 JS 散度 ​

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。 ​

4. 神经网络训练里最常见的数学工具 ​

4.1 梯度下降 ​

4.2 链式法则 ​

4.3 Sigmoid 与 Softmax ​

4.4 MSE 与高斯噪声 ​

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。 ​

5. 半监督学习 ​

5.1 基本设定 ​

5.2 两个常见假设 ​

5.3 常见方法 ​

6. GAN：从二分类到分布匹配 ​

6.1 经典目标 ​

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。 ​

7. CatGAN：把“真假判别”改造成类别结构学习 ​

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。 ​

8. CCGAN：连续条件下的生成 ​

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。 ​

9. MLE：先把“最能解释数据”写成数学 ​

9.1 正态分布 MLE ​

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。 ​

10. Jensen 不等式：为什么会出现“下界” ​

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。 ​

11. EM：隐变量让似然难算时怎么办 ​

怎么理解： 这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。 ​

12. ELBO：VAE 真正优化的东西 ​

12.1 从边缘似然开始 ​

12.2 ELBO 与真实对数似然的精确关系 ​

12.3 VAE 常用分解 ​

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。 ​

13. VAE：编码器、解码器与重参数化 ​

13.1 编码器 ​

13.2 重参数化 ​

13.3 标准高斯先验下的 KL 闭式 ​

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。 ​

14. AEVB 与蒙特卡洛训练 ​

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。 ​

15. 解码分布决定“重构损失长什么样” ​

15.1 Bernoulli 解码器 ​

15.2 高斯解码器 ​

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。 ​

16. 一致性正则化 ​

怎么理解： 求和符号本身没有额外神秘含义，把它展开后就是普通加法。 ​

17. Ladder Network ​

怎么理解： 先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。 ​

18. 正则化：从优化视角和贝叶斯视角理解 ​

怎么理解： 概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。 ​

19. EM、变分推断和 VAE 到底是什么关系 ​

怎么理解： 直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。 ​

20. 几个容易混淆、但考试和实现都很重要的点 ​

20.1 “似然”不是“概率”的另一个名字 ​

20.2 KL 的两个方向不等价 ​

20.3 VAE 的 KL 不是“让每个 ‘z‘ 都等于 0” ​

20.4 重构项的数值形式取决于观测模型 ​

20.5 ELBO 是下界，不是对数似然本身 ​

20.6 训练 loss 的正负号要看代码约定 ​

21. 最后用一条推导链复习 ​

半监督学习、GAN、VAE 与变分推断

1. 一张图先串起整门内容

2. 数学基础：后面的公式基本都从这里长出来

2.1 求和、平均与连乘

2.2 对数：把乘法变成加法

2.3 概率、联合概率与条件概率

2.4 贝叶斯公式

2.5 期望、方差与蒙特卡洛近似

2.6 i.i.d. 与似然的连乘

怎么理解：连乘常出现在独立样本的联合概率中；取对数后通常会变成求和。

3. 信息论：熵、交叉熵、KL、JS 与互信息

3.1 信息量与熵

3.2 条件熵

3.3 互信息

3.4 交叉熵

3.5 KL 散度

3.6 JS 散度

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

4. 神经网络训练里最常见的数学工具

4.1 梯度下降

4.2 链式法则

4.3 Sigmoid 与 Softmax

4.4 MSE 与高斯噪声

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

5. 半监督学习

5.1 基本设定

5.2 两个常见假设

5.3 常见方法

6. GAN：从二分类到分布匹配

6.1 经典目标

怎么理解：概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

7. CatGAN：把“真假判别”改造成类别结构学习

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

8. CCGAN：连续条件下的生成

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

9. MLE：先把“最能解释数据”写成数学

9.1 正态分布 MLE

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

10. Jensen 不等式：为什么会出现“下界”

怎么理解：这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

11. EM：隐变量让似然难算时怎么办

怎么理解：这里不要把期望理解成一次实验必然得到的结果，它描述的是大量重复或整个分布意义下的平均。

12. ELBO：VAE 真正优化的东西

12.1 从边缘似然开始

12.2 ELBO 与真实对数似然的精确关系

12.3 VAE 常用分解

怎么理解：直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

13. VAE：编码器、解码器与重参数化

13.1 编码器

13.2 重参数化

13.3 标准高斯先验下的 KL 闭式

怎么理解：直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

14. AEVB 与蒙特卡洛训练

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

15. 解码分布决定“重构损失长什么样”

15.1 Bernoulli 解码器

15.2 高斯解码器

怎么理解：概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

16. 一致性正则化

怎么理解：求和符号本身没有额外神秘含义，把它展开后就是普通加法。

17. Ladder Network

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

18. 正则化：从优化视角和贝叶斯视角理解

怎么理解：概率模型喜欢对数，是因为它既保持大小顺序，又能把乘法变成加法。

19. EM、变分推断和 VAE 到底是什么关系

怎么理解：直观上是在比较两个分布是否一致；数值越接近 0，通常说明这里比较的两个分布越接近。

20. 几个容易混淆、但考试和实现都很重要的点

20.1 “似然”不是“概率”的另一个名字

20.2 KL 的两个方向不等价

20.3 VAE 的 KL 不是“让每个 $‘ z ‘$ 都等于 0”

20.4 重构项的数值形式取决于观测模型

20.5 ELBO 是下界，不是对数似然本身

20.6 训练 loss 的正负号要看代码约定

21. 最后用一条推导链复习

怎么理解：先不要急着背公式；把符号换成一个具体数字、类别或样本，通常就能看清它在做什么。

附录 A：符号速查

附录 B：原笔记公式索引（去重并统一为 Markdown 块公式）

B.1

B.2

B.3