Boomerang：基于扩散模型的图像流形局部采样

扩散模型的推理阶段可视为运行一个逆时扩散随机微分方程，其中来自高斯潜变量的样本被转化为通常位于低维流形（如图像流形）上的目标分布样本。初始潜空间与图像流形之间的中间值可解释为带噪图像，其噪声量由前向扩散过程的噪声 schedule 决定。我们利用这一解释提出 Boomerang，一种用于图像流形局部采样的方法。顾名思义，Boomerang 局部采样包括对输入图像加噪、将其移近潜空间，然后通过部分逆扩散过程将其映射回图像流形。因此，Boomerang 在流形上生成与原始输入图像“相似”但不完全相同的图像。我们可以通过调节所加噪声的量来控制生成图像与原始图像的接近程度。此外，由于 Boomerang 中逆扩散过程的随机性，生成图像呈现出一定程度的随机性，使我们能够从流形上获得局部样本而不会出现重复。Boomerang 具有灵活性，可无缝适配任何预训练扩散模型（如 Stable Diffusion），无需对逆扩散过程做任何调整。我们给出了 Boomerang 的三个应用。首先，我们提供了一个用于构建具有可控匿名程度的可保护隐私数据集的框架。其次，我们展示使用 Boomerang 进行数据增强可提升泛化性能，并优于最先进的合成数据增强方法。最后，我们引入了一种感知图像增强框架，可实现分辨率提升。