利用潜在扩散模型进行无需训练的图像风格迁移
计算机视觉与模式识别
2024-10-03 v1 多媒体
摘要
扩散模型最近显示出生成高质量图像的能力。然而, 控制其生成过程仍具有挑战性。图像风格迁移任务即将风格图像的视觉属性传递到另一个内容图像上。典型障碍是需要对预训练模型进行额外训练。我们提出一种无需训练的风格迁移算法,称为Style Tracking Reverse Diffusion Process（STRDP），用于预训练的潜在扩散模型（LDM）。该算法在LDM的逆扩散过程中以一种独特方式运用自适应实例归一化（AdaIn）函数, 并跟踪风格图像的编码历史。该算法通过LDM的潜在空间进行风格迁移, 以降低计算成本, 并为各种LDM模型提供兼容性。通过一系列实验和用户研究, 我们表明该方法能够在无需额外训练的情况下快速完成风格迁移。该算法的速度性、兼容性和无需训练方面, 促进了与风格与LDM组合的敏捷实验, 以适用于广泛的应用。
引用
@article{arxiv.2410.01366,
title = {Harnessing the Latent Diffusion Model for Training-Free Image Style Transfer},
author = {Kento Masui and Mayu Otani and Masahiro Nomura and Hideki Nakayama},
journal= {arXiv preprint arXiv:2410.01366},
year = {2024}
}