CycleNet：重新思考文本引导扩散中用于图像编辑的循环一致性
计算机视觉与模式识别
2024-03-12 v2 人工智能
机器学习
摘要
扩散模型（DMs）已在图像合成任务中取得突破，但缺乏用于一致图像到图像（I2I）翻译的直观接口。为解决此问题已探索多种方法，包括基于掩码、基于注意力以及图像条件化的方法。然而，在使用预训练DMs实现非配对I2I翻译的同时保持令人满意的一致性，仍是一项关键挑战。本文提出CycleNet，一种新颖而简洁的方法，将循环一致性引入DMs以正则化图像编辑。我们在不同粒度的非配对I2I任务上验证CycleNet。除场景与物体级翻译外，我们还贡献了一个多域I2I翻译数据集，用于研究物体的物理状态变化。实证研究表明，CycleNet在翻译一致性与质量上均更优，且仅需简单更改文本提示即可为分布外数据生成高质量图像。CycleNet是一个实用框架，即便训练数据极少（约2k）且只需极少计算资源（1块GPU）训练也表现稳健。项目主页：https://cyclenetweb.github.io/
引用
@article{arxiv.2310.13165,
title = {CycleNet: Rethinking Cycle Consistency in Text-Guided Diffusion for Image Manipulation},
author = {Sihan Xu and Ziqiao Ma and Yidong Huang and Honglak Lee and Joyce Chai},
journal= {arXiv preprint arXiv:2310.13165},
year = {2024}
}
备注
NeurIPS 2023