扩散模型

于所有图像的空间中生成一张图像

考虑图像生成问题。令${\displaystyle x}$ 代表一张图，令${\displaystyle p(x)}$ 为在所有可能图像上的概率分布。若有${\displaystyle p(x)}$ 本身，便可以肯定地说给定的一张图的概率有多大。但这在一般情况下是难以解决的。

大多数时候，我们并不想知道某个图像的绝对概率，相反，我们通常只想知道某个图像与它的周围相比，概率有多大：一张猫的图像与它的小变体相比，概率哪个大？如果图像里有一根、两根或三根胡须，或者加入了一些高斯噪声，概率会更大吗？

因此，我们实际上对${\displaystyle p(x)}$ 本身不感兴趣，而对${\displaystyle \nabla _{x}\ln p(x)}$ 感兴趣。这有两个效果：

• 其一，我们不再需要标准化${\displaystyle p(x)}$ ，而是可以用任何${\displaystyle {\tilde {p}}(x)=Cp(x)}$ ，其中${\displaystyle C=\int {\tilde {p}}(x)dx>0}$ 是任意常数，我们不需要去关心它。
• 其二，我们正在比较${\displaystyle p(x)}$ 的邻居${\displaystyle p(x+dx)}$ ，通过${\displaystyle {\frac {p(x)}{p(x+dx)}}=e^{-\langle \nabla _{x}\ln p,dx\rangle }}$ 

令分数函数为${\displaystyle s(x):=\nabla _{x}\ln p(x)}$ ，然后考虑我们能对${\displaystyle s(x)}$ 做什么。

实际上，${\displaystyle s(x)}$ 允许我们用随机梯度朗之万动力学从${\displaystyle p(x)}$ 中取样，这本质上是马尔可夫链蒙特卡洛的无限小版本。^[2]

学习分数函数

分数函数可通过加噪-去噪学习。^[1]

分类指导器

假设我们希望不是从整个图像的分布中取样，而是以图像描述为条件取样。我们不想从一般的图像中取样，而是从符合描述“红眼睛的黑猫”的图片中取样。一般来说，我们想从分布${\displaystyle p(x|y)}$ 中取样，其中${\displaystyle x}$ 的范围是图像，${\displaystyle y}$ 的范围是图像的类别（对y而言，“红眼黑猫”的描述过于精细，“猫”又过于模糊）。

从噪声信道模型的角度来看，我们可以将这一过程理解如下：为生成可描述为${\displaystyle y}$ 的图像${\displaystyle x}$ ，我们设想请求者脑海中真有一张图像${\displaystyle x}$ ，但它经过多次加噪，出来的是毫无意义可言的乱码，也就是${\displaystyle y}$ 。这样一来图像生成只不过是推断出请求者心中的${\displaystyle x}$ 是什么。

换句话说，有条件的图像生成只是“从文本语言翻译成图像语言”。之后，像在噪声信道模型中一样，我们可以用贝叶斯定理得到

SGLD使用

温度

分类器引导的扩散模型会从${\displaystyle p(x|y)}$ 中取样，它集中在最大后验概率${\displaystyle \arg \max _{x}p(x|y)}$ 周围。如果我们想迫使模型向最大似然估计 ${\displaystyle \arg \max _{x}p(y|x)}$ 的方向移动，可以用

这可以简单地通过SGLD实现，即

无分类指导器

如果我们没有分类器${\displaystyle p(y|x)}$ ，我们仍可以从图像模型本身提取一个：^[8]

这是GLIDE^[9]、DALL-E^[10]和Google Imagen^[11]等系统的重要组成部分。

• 扩散过程
• 马尔可夫链
• 变分贝叶斯方法
• 变分自编码器

• Guidance: a cheat code for diffusion models. Good overview up to 2022.