去噪扩散模型的无监督区域图像编辑
计算机视觉与模式识别
2024-12-18 v1 人工智能
摘要
尽管扩散模型在图像生成领域取得了显著成功，但其潜空间仍未得到充分探索。当前在潜空间中识别语义的方法通常依赖外部监督，如文本信息和分割掩码。在本文中，我们提出了一种方法，无需任何额外训练即可识别预训练扩散模型潜空间中的语义属性。通过将目标语义区域的雅可比投影到与非掩码区域正交的低维子空间，我们的方法实现了对局部掩码区域的精确语义发现和控制，消除了对标注的需求。我们在多个数据集和不同架构的扩散模型上进行了大量实验，取得了最先进的性能。特别是，对于某些特定的人脸属性，我们提出方法的性能甚至超过了监督方法，展示了其在编辑局部图像属性方面的卓越能力。
引用
@article{arxiv.2412.12912,
title = {Unsupervised Region-Based Image Editing of Denoising Diffusion Models},
author = {Zixiang Li and Yue Song and Renshuai Tao and Xiaohong Jia and Yao Zhao and Wei Wang},
journal= {arXiv preprint arXiv:2412.12912},
year = {2024}
}