扩散模型中的空文本引导实为隐秘的卡通风格生成器

无分类器引导是扩散模型中已被广泛采用的一种有效采样技术。其主要思想是在文本引导方向上进行外推，并远离空文本引导。在本文中，我们证明扩散模型中的空文本引导实为隐秘的卡通风格生成器，即只需简单地扰动空文本引导，就能将生成的图像高效地转化为卡通图。具体而言，我们提出了两种扰动方法，即回滚扰动（Back-D）和图像扰动（Image-D），以在采样过程中构建用于预测空文本引导和文本引导的带噪图像（随后分别称为\textbf{空文本带噪图像}和\textbf{文本带噪图像}）之间的错位。Back-D通过用$x_{t+\Delta t}$替换$x_t$来改变空文本带噪图像的噪声水平，从而实现卡通化。相反，Image-D通过将$x_t$定义为干净输入图像来生成高保真、多样化的卡通图，这进一步改善了更精细图像细节的融入。通过综合实验，我们深入探究了空文本噪声扰动的原理，并揭示扰动的效果取决于空文本带噪图像与源图像之间的相关性。此外，我们提出的技术可生成卡通图像并对特定图像进行卡通化，无需训练且可作为即插即用组件轻松集成到任何无分类器引导的扩散模型中。项目页面见\url{https://nulltextforcartoon.github.io/}。