用于文本引导扩散图像风格迁移的零样本对比损失
计算机视觉与模式识别
2023-04-13 v2 人工智能
机器学习
机器学习
摘要
扩散模型在文本引导图像风格迁移中展现出良好前景，但因其随机性，风格变换与内容保持之间存在权衡。现有方法需要对扩散模型进行计算昂贵的微调或额外的神经网络。为此，本文提出一种用于扩散模型的零样本对比损失，无需额外微调或辅助网络。通过在预训练扩散模型中利用生成样本与原始图像嵌入之间的块级对比损失，我们的方法能以零样本方式生成与源图像具有相同语义内容的图像。我们的方法在保持内容且无需额外训练的情况下优于现有方法，不仅适用于图像风格迁移，也适用于图像到图像翻译与编辑。实验结果验证了所提方法的有效性。
引用
@article{arxiv.2303.08622,
title = {Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer},
author = {Serin Yang and Hyunmin Hwang and Jong Chul Ye},
journal= {arXiv preprint arXiv:2303.08622},
year = {2023}
}