Diffusion Model的底层数学原理

这篇文章的内容主要以了解概念，并试图用更加通俗的语言来帮助理解为主，并不会做严谨、复杂的数学分析。

为了不浪费您的时间，请酌情阅读

引言

2023年，AI科技像是打了加强针一样，大量商用人工智能产品如雨后春笋一样爆发。

以ChatGPT为爆点的生成式AI开始，Midjourney，Stable Diffusion，Dalle·2… 包括最近出圈的Pika，也都备受世人关注。

当然，AI并不是一夜之间凭空出现的：两代前的iOS就开始支持图片文字识别；疫情期间一个30元人民币的摄像头就可以玩一玩的人脸识别；2018年在5v5的Dota2对战中，OpenAI训练的AI战胜了TI8冠军OG；更早期还有，Deepmind在围棋领域称霸，Google翻译使用文本模型增强其翻译准确度（虽如今被ChatGPT完爆）。这些过往AI走过的足迹，揭示了人工智能是如何一步一步走到了今天，最终量变产生质变，奇点在今年这个时刻爆发了。

AI正在逐渐改变我们的生活，旧科技正在这个崭新的未来进程中逐渐淡出我们的视野。不过，在准备登上前往新世纪的渡轮前，让我们把心思收回，看向这篇文章的标题。

扩散模型(Diffusion Model)

很多产品都使用了扩散模型，包括 Midjourney，Stable Diffusion，Dalle·2，由于我并不了解其他模型，所以我也不在此妄议。

扩散模型(Diffusion Model)，本质是通过一个连续地加噪过程，来污染一组完整有意义的数据集，使数据集变成纯噪音。然后，训练模型学习去除噪声，直到其能大致拟合原有数据。在训练完成后，扩散模型可以用学习到的去噪过程来生成数据。这一连续地加噪过程，被称为前向过程(Forward Process); 与之相反，则被称为逆向去噪过程(Reverse Denoised Process)。对模型的训练，就在逆向去噪的过程中完成。

扩散模型不光能应用于图像相关的领域(虽然目前大部分都是该领域)，音频、文字、视频等领域也有广泛的应用。

前向过程(Forward Process)

如上图所示，我们在左侧给出一组数据集，它在0时刻是清晰、有意义的，称作$X_0$ 随后，在$X_0$上，加入一个服从于 $N(\mu ,{\sigma }^2)$的正态变量$Z_1$(也称为噪音)，得到在1时刻数据集$X_1$ * 在Stable Diffusion里，经常使用“迭代步数”来描述与此过程相反，名为Reverse Denoised Process的过程

数据集从$X_0$到$X_1$变化后，我们可以清楚地感知到，在一定程度上，原始数据集被噪音污染了。

接着，我们重复操作$X_1\to X_2,X_2\to X_3$ …, 直到 $X_{n-1}\to X_n$，这就是一个扩散模型的前向过程(Forward Process)。若给定一个$X_0$，要获得$X_t$，那么总共需要经过t个步骤。直到重复至第n步后，原始数据集中已经完全被噪声污染，几乎很难提取出有用的信息

注意，虽然 $X_1,X_2,X_3...,X_n$ 都是正态变量，但它们之间的均值µ 和标准差σ 却并不相同。从上面的迭代图中，我们也可以观察到此现象：第一步（即 $X_0\to X_1$）的迭代后， $X_0$增加噪点的数量，远小于最后一步（即 $X_{n-1}\to X_n$）中 $X_{n-1}$所增加的噪点数。这也就是说，增加的$Z_t$在每一步中都服从一个不同的$N_t({\mu }_t,{\sigma }_t^2)$。但是我们也可以很明显地感知到，每一步独立的加噪幅度，都大致收敛至一个定值(这是一个经验值，不同的模型可能取值完全不同)

我们设置一个与步数相关的函数 $y=f(t)$, $Z$是一个标准正态变量， $Z\sim N(0,I)$，那么 $Z_t=Zf(t)$； 由于随着步数的增加，$Z_t$逐渐变大，而$Z\sim N(0,I)$，那么也就意味着 $y=f(t)$越来越大。 与之相反的是，由于数据集 $X_t$ 的数据总量是恒定的，所以 $X_t$ 的上一步 $X_{t-1}$ 所占数量是逐渐减少的: 设$w=g(t)$, 那么 $X_{t-1}$ 在 $X_t$ 所占的数量就是 $g(t)X_{t-1}$， $w=g(t)$ 越来越小

$$\begin{array}{rl}& \\ 也就是说X_t& =w{X}_{t-1}+Z_t\\ & =g(t)X_{t-1}+f(t)Z\end{array}$$

到了这一步，我们只需要搞清楚 $f(t)$ 和 $g(t)$ 是什么，就可以写出一个完整的正向过程通用表达式了

显然， $f(t)$ 与 $g(t)$ 存在着某种关系，在Diffusion Model 相关的论文中，取:

$$\begin{gathered} f(t)=\sqrt{1-{\alpha }_t}，g(t)=\sqrt{{\alpha }_t} \\ {\alpha }_t=1-{\beta }_t,\beta \in [0.0001,0.02] \\ {z}_i\sim N(0,I) \\ {x}_t=\sqrt{{\alpha }_t}\cdot x_{t-1}+\sqrt{1-{\alpha }_t}\cdot z_1(1-1) \end{gathered}$$

由此我们得出 $x_t$ 和 $x_{t-1}$ 的关系，那么知道这两者关系后，我们就可以挨个求出 $x_2$, $x_3$, ··· $x_n$, 如：

$$\begin{gathered} {x}_1={\sqrt{\alpha }}_1{x}_0+\sqrt{1-{\alpha }_1}{z}_1 \\ {x}_2={\sqrt{\alpha }}_2{x}_1+\sqrt{1-{\alpha }_2}{z}_2 \\ {x}_3={\sqrt{\alpha }}_3{x}_2+\sqrt{1-{\alpha }_3}{z}_3 \\ \cdot \cdot \cdot \\ {x}_n={\sqrt{\alpha }}_n{x}_{n-1}+\sqrt{1-{\alpha }_n}{z}_n \end{gathered}$$

正如之前在正态分布一文中提到的，Diffusion Model的前向过程，是完美符合热力学第二定律的：一滴墨水滴入一杯清水中，会逐渐扩散开；可能一开始墨汁和水还有明显的界限，但是随着时间（步数）的增加，两种液体最终会混在一起。

随着步数的增加，我们已知的$x_0$，最终会变成$x_n$，如果这个过程如果满足熵增定律的话，我们完全可以通过数学的方法，省略掉中间 $x_1\to x_2\to x_3\cdot \cdot \cdot \to x_n$ 的过程

$${x}_{t-1}=\sqrt{{\alpha }_{t-1}}\cdot x_{t-2}+\sqrt{1-{\alpha }_{t-1}}\cdot z_2(1-2)$$

将 (1 - 2) 代入至 (1 - 1), 得：

$$\begin{array}{rl}& \\ x_t& =\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t-1}}\cdot x_{t-2}+\sqrt{1-{\alpha }_{t-1}}\cdot z_2)+\sqrt{1-{\alpha }_t}\cdot z_1\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+(\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{z}_2+\sqrt{1-{\alpha }_t}{z}_1)\end{array}$$

其中 $(\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{z}_2+\sqrt{1-{\alpha }_t}{z}_1)$ 是一个重采样的操作

$$\begin{gathered} \ast 根据正态变量的运算可知 \\ \sqrt{1-{\alpha }_t}{z}_1\sim N(0,1-{\alpha }_t) \\ \sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{z}_2\sim N(0,{\alpha }_t(1-{\alpha }_{t-1})) \\ \sqrt{1-{\alpha }_t}{z}_1+\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{z}_2\sim N(0,1-{\alpha }_t{\alpha }_{t-1}) \end{gathered}$$ 点击查看正态变量的运算

化简得：

$${x}_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}{z}_2$$

上述步骤中得出了 $x_t$ 与 $x_{t-2}$ 的关系； 重复步骤，最终可得：

$$\begin{array}{rl}& \\ x_t& =\sqrt{{\alpha }_t{\alpha }_{t-1}{\alpha }_{t-2}...{\alpha }_1}{x}_0+\sqrt{1-{\alpha }_t{\alpha }_{t-1}{\alpha }_{t-2}...{\alpha }_1}{z}_t\\ & =\sqrt{\Pi {\alpha }_t}{x}_0+\sqrt{1-\Pi {\alpha }_t}{z}_t{z}_t\sim N(0,I)\end{array}$$

得出 $x_t$ 与 $x_0$ 的关系，其中 $x_0$ 是初始数据集，则任意时刻 $x_t$ 可求

逆向去噪过程(Reverse Denoise Process)

在前向过程中，通过向原始数据集$x_0$中持续添加噪音$z_i$，最终得到无意义的数据集$x_t$；而与之相反的则是，对无意义数据集$x_t$进行一连串的去噪$z_i$过程，直到得到拟合的原始数据集$x_0$，这就是 Diffusion Model 中的逆向去噪过程。

> 一个聪明绝顶的做法? 前向过程中，我们已知：

$$\begin{array}{rl}& \\ x_t& =\sqrt{\Pi {\alpha }_t}{x}_0+\sqrt{1-\Pi {\alpha }_t}{z}_t\end{array}$$

那么:

$$\begin{array}{rl}& \\ x_0& =\frac{x_t-\sqrt{1-\Pi {\alpha }_t}{z}_t}{\sqrt{\Pi {\alpha }_t}}(2-1)\end{array}$$

你看，用任意时刻$x_t$不是把原始数据$x_0$求出来了吗？ > 一个误区 使用式子 (2-1) 的确能得到一个值，但这个值却不能作为一个可用的输出值。以下解释是我从热力学中受到的启发，不一定正确，仅供参考：

前面的文章已经提到，墨水滴入水中后，逐渐溶解扩散的过程，是一个熵增的过程，这个过程符合热力学的描述：（单一系统中）能量总是由高流动至低，秩序总由整齐到凌乱。如果需要逆熵，则需要向系统中输入能量。所以由一个有秩序有意义的数据集$x_0$，到一个无秩序无意义的$x_t$，其过程是一个不消耗能量的自发过程。而其的推导过程也是符合逻辑有意义的，先由$x_0$ 找出与 $x_1$之间的关系，再由$x_1$ 找出与 $x_2$ 之间的关系，以此类推… 直到最终得出 $x_0$ 与 $x_t$ 之间的关系。

在式(2-1)中，等式左侧$x_0$却并不能简单的看作有意义上的最终结果$x_0$，而应该看作是对于$x_t$时刻时，对于$x_0$的预判，这个预判随着每一次的迭代而更新。这种理念和后验概率的理念很相似：每次迭代后产生的新数据集，又进一步影响原始原因的判断。当步差（delta of $x_t$ and $x_{t-1}$）足够小时，式（2-1）中的 $x_0$ 对于$x_t$ 和 $x_{t-1}$ 有着近似的正确性，但对于超过这个范围的数据集，如：$x_{t-2}$，$x_{t+2}$ 等，不具有近似的正确性。这也是为什么不能由一个无意义的$x_n$（或 $x_t$），直接数学推导出有意义的$x_0$，因为它们之间的步差（delta）过大，近似的前提不成立。

正如前向过程中，我们先研究了$x_0$和$x_1$之间的关系。在后向过程中，我们也先从$x_t$ 和 $x_{t-1}$的关系开始入手：

前面已经说过，$x_t$ 和 $x_{t-1}$之间差一个正态变量 $z_i$，这个$z_i$ 服从于一个标准正态分布$N(0,I)$；我们将噪音 $z_i$ 上的点，落在 $x_{t-i}$ 形成 $x_t$，看作一个概率事件，记做 $P(x_t|x_{t-1},x_0)$；通过所有路径生成的 $x_t$ 的全路径记做 $P(x_t|x_0)$；通过所有路径生成的 $x_{t-1}$ 的全路径记做 $P(x_{t-1}|x_0)$；那么：

1）通过 $x_0$ 到达 $x_{t-1}$ 后，最终到达 $x_t$ 的路径，它的概率是: $P(x_t|x_{t-1},x_0)\cdot P(x_{t-1}|x_0)$ 2）根据贝叶斯公式，可逆推导出由 $x_0$ 推导到达 $x_t$ 后（此时 $x_t$ 已是既定发生的事实 ），由 $x_{t-1}$ 作为上级原因，所引发此事件的概率为：

$P(x_{t-1}|x_t,x_0)=\frac{P(x_t|x_{t-1},x_0)P(x_{t-1}|x_0)}{P(x_t|x_0)}$
值得注意的是：这里的（原始输入） $x_0$ 对于逆向过程而言，是未知的。前文提到，我们通过前向过程推导而来的式（2-1）中，由于步数过大，近似前提不成立，所以并不能真实拟合。但在这一步中，我们的主要目的是找出 $x_t$ 和 $x_{t-1}$ 的关系，$x_0$ 在此处不关键。而且，随着每一次的逆向迭代，$x_0$ 也会随之变化，从而越来越逼近真实情况。

根据正变量的运算，可得：

1. $$\begin{gathered} q(x_{t-1}|x_0)\propto z_1=\sqrt{\Pi {\alpha }_{t-1}}{x}_0+\sqrt{1-\Pi {\alpha }_{t-1}}z \\ {z}_1\sim N(\sqrt{\Pi {\alpha }_{t-1}}{x}_0,1-\Pi {\alpha }_{t-1}) \end{gathered}$$

2. $$\begin{gathered} q(x_t|x_0)\propto z_2=\sqrt{\Pi {\alpha }_t}{x}_0+\sqrt{1-\Pi {\alpha }_t}z \\ {z}_2\sim N(\sqrt{\Pi {\alpha }_t}{x}_0,1-\Pi {\alpha }_t) \end{gathered}$$

3. $$\begin{gathered} q(x_t|x_{t-1},x_0)\propto z_3=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}z \\ {z}_3\sim N(\sqrt{{\alpha }_t}{x}_{t-1},1-{\alpha }_t) \end{gathered}$$

已知正态分布的概率密度函数为：

$$\begin{array}{rl}& \\ \varphi (x)& =\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\\ & \propto \exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\end{array}$$

那么，$$\begin{gathered} q(x_{t-1}|x_t,x_0)=\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)}{q(x_t|x_0)} \\ \propto Z(x_{t-1})=\frac{z_1{z}_3}{z_2}\propto \exp (-\frac{1}{2}(\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{1-{\alpha }_t}+\frac{(x_{t-1}-\sqrt{\Pi {\alpha }_{t-1}}{x}_0{)}^2}{1-\Pi {\alpha }_{t-1}}-\frac{(x_t-\sqrt{\Pi {\alpha }_t}{x}_0{)}^2}{1-\Pi {\alpha }_t})) \\ =f(x_{t-1})=\exp (-\frac{1}{2}((\frac{{\alpha }_t}{1-{\alpha }_t}+\frac{1}{1-\Pi {\alpha }_{t-1}})x_{t-1}^2-(\frac{2\sqrt{{\alpha }_t}}{1-{\alpha }_t}{x}_t+\frac{2\sqrt{\Pi {\alpha }_{t-1}}}{1-\Pi {\alpha }_{t-1}}{x}_0)x_{t-1}+C(x_t,x_0))) \end{gathered}$$
指数运算复习：

$${e}^m{e}^n=e^{m+n}$$ $$\frac{e^m}{e^n}=e^{m-n}$$

带幂次的自然常数e：

$${e}^m=\exp (m)$$

又因为：

$$\begin{gathered} f(x_{t-1})=\exp (-\frac{(x_{t-1}-\mu {)}^2}{2{\sigma }^2}) \\ =\exp (-\frac{1}{2}(\frac{1}{{\sigma }^2}{x}_{t-1}^2-\frac{2\mu }{{\sigma }^2}{x}_{t-1}+\frac{{\mu }^2}{{\sigma }^2}\left)\right) \end{gathered}$$

所以：

$$\begin{gathered} \frac{1}{{\sigma }^2}=(\frac{{\alpha }_t}{1-{\alpha }_t}+\frac{1}{1-\Pi {\alpha }_{t-1}}) \\ \frac{2\mu }{{\sigma }^2}=(\frac{2\sqrt{{\alpha }_t}}{1-{\alpha }_t}{x}_t+\frac{2\sqrt{\Pi {\alpha }_{t-1}}}{1-\Pi {\alpha }_{t-1}}{x}_0) \end{gathered}$$

由于 $\alpha$ 是一个已知的经验值，故标准差（或方差） $\sigma$ 是一个常数。 注：在原始的 Diffusion Model 论文中，方差是一个固定值，机器不通过迭代优化其值；但在其衍生的分支模型上，也有很多将方差看作一个可迭代的变量。

观察，可知 $\mu$ 是一个与 $x_0$ 和 $x_t$ 相关的变量，即：

$$\begin{gathered} \mu (x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-\Pi {\alpha }_{t-1})}{1-\Pi {\alpha }_t}{x}_t+\frac{\sqrt{\Pi {\alpha }_{t-1}}(1-{\alpha }_t)}{1-\Pi {\alpha }_t}{x}_0 \\ {x}_0=\frac{x_t-\sqrt{1-\Pi {\alpha }_t}{z}_t}{\sqrt{\Pi {\alpha }_t}} \end{gathered}$$

所以，$\mu (x_t)=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-\Pi {\alpha }_t}}{z}_t)$
为什么这里可以直接用式子（2-1），也就是变量$x_0$ ?

• 逆向过程中，由于 $x_0$ 未知，这时 $x_t$ 才是一个已知数。而且由于这里求的是 $x_t$ 到 $x_{t-1}$ 的过程，其步数（Delta）足够小，因此近似的前提成立。故而直接使用式子（2-1）迭代能得出相似结果。

模型训练和损失

通过逆向过程，我们找到了均值 $\mu$ 和 正态变量$z_t$ 的关系，可以说，求出 $z_t$ 就能使一组无意义的数据 $x_t$ 恢复为有意义的原始数据组 $x_0$。

但是，正如我们反复提及的熵增定律，一个逐渐倾向于混乱的系统，是不会自发还原到原来的秩序的。这也就是我们无法通过计算来精确的还原原始数据。但好在我们有计算机，来帮助我们完成近似的工作。

首先，在前向过程中，计算机会拿到每一步的 $z_t$，随后的逆向过程中，它会预测到每一步 $z_i$，并将其二者相减去：

$$z_{loss}=z_t-z_i$$

当 $z_{loss}$ 处于一个合理（可用）的范围时，这个模型就训练成功了。

在 Diffusion Model 真正投入使用时，我们只会用到它的逆向过程。