基于双循环扩散消除语义图像编辑中的上下文先验偏差
计算机视觉与模式识别
2023-10-06 v3
摘要
文本到图像生成扩散模型的近期成功也革新了语义图像编辑，使得基于查询/目标文本的图像操控成为可能。尽管取得了这些进展，一个重大挑战在于预训练模型在图像编辑过程中可能引入上下文先验偏差，例如对不适当区域进行意外修改。为解决这一问题，我们提出了一种名为双循环扩散的新方法，该方法生成无偏掩码以引导图像编辑。所提模型包含一个偏差消除循环，该循环由前向路径和逆向路径组成，每条路径均具有结构一致性循环，以确保编辑过程中图像内容的保留。前向路径利用预训练模型生成编辑后的图像，而逆向路径则将结果转换回源图像。无偏掩码通过比较处理后的源图像与编辑后图像之间的差异生成，以确保两者符合同一分布。实验证明了所提方法的有效性，其将 D-CLIP 分数从 0.272 显著提升至 0.283。代码将发布于 https://github.com/JohnDreamer/DualCycleDiffsion。
引用
@article{arxiv.2302.02394,
title = {Eliminating Contextual Prior Bias for Semantic Image Editing via Dual-Cycle Diffusion},
author = {Zuopeng Yang and Tianshu Chu and Xin Lin and Erdun Gao and Daqing Liu and Jie Yang and Chaoyue Wang},
journal= {arXiv preprint arXiv:2302.02394},
year = {2023}
}
备注
This paper has been accepted by the IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)