UIP2P：基于编辑可逆性约束的无监督指令式图像编辑
计算机视觉与模式识别
2025-09-29 v2
摘要
我们提出了一种无监督指令式图像编辑方法，无需在训练时使用真实编辑后的图像。现有方法依赖于监督学习，需使用输入图像、真实编辑后图像和编辑指令的三元组。这些三元组通常由现有编辑方法生成，引入偏差，或通过人工标注生成，成本高昂且限制泛化性。我们的 метод 通过引入一种新颖的编辑机制——编辑可逆性约束（ERC），在单次训练步骤中应用正向和反向编辑，并在图像、文本和注意力空间施加对齐，从而无需依赖真实编辑后图像，首次在由真实图像-描述对或图像-描述-指令三元组组成的数据集上进行训练。我们实证表明，该方法在更广泛的编辑范围内表现出更好的保真度和精确度。通过消除对三元组数据集的依赖，减少当前方法引发的偏差，并提出 ERC，我们的工作在解锁指令式图像编辑规模化方面 represent a significant advancement in unblocking scaling of instruction-based image editing.
引用
@article{arxiv.2412.15216,
title = {UIP2P: Unsupervised Instruction-based Image Editing via Edit Reversibility Constraint},
author = {Enis Simsar and Alessio Tonioni and Yongqin Xian and Thomas Hofmann and Federico Tombari},
journal= {arXiv preprint arXiv:2412.15216},
year = {2025}
}
备注
Accepted to ICCV'25. Project page: https://uip2p.github.io/