D2Styler：基于离散扩散方法的任意风格迁移技术

在图像处理中，渲染图像语义意义使用多种艺术方法是最具挑战性的任务之一。现有技术在进行任意风格迁移（Arbitrary Style Transfer, AST）时常因风格图像与内容图像之间的差异导致模式坍缩、过度风格化或欠度风格化。我们提出一种新框架D$^2$Styler（Discrete Diffusion Styler），利用VQ-GAN的离散表征能力以及离散扩散的优势（包括稳定训练和避免模式坍缩）。本方法使用自适应实例归一化（Adaptive Instance Normalization, AdaIN）特征作为逆扩散过程的上下文指导器。这使我们能够在不偏差地将风格图像的特征移动到内容图像上。该方法显著提升了风格迁移图像的视觉质量，使内容与风格能够以视觉上令人愉悦的方式组合。我们采用WikiArt数据集中的风格图像和COCO数据集中的内容图像进行实验。实验结果表明，D$^2$Styler生成的高质量风格迁移图像在 nearly all 指标上均优于十二个现有方法。定性结果和消融研究进一步揭示了该技术有效性。代码已公开于 https://github.com/Onkarsus13/D2Styler。