双重溯因反事实推理用于基于文本的图像编辑
计算机视觉与模式识别
2024-03-27 v2
摘要
我们通过反事实推理研究单图像的基于文本的图像编辑（TBIE），因为这是一个优雅的公式来精确满足要求：编辑后的图像应保留原始图像的保真度。通过该公式的视角，我们发现TBIE的关键在于现有技术很难在可编辑性和保真度之间取得良好平衡，主要是由于单图像微调的过拟合。为此，我们提出了双重溯因反事实推理框架（DAC）。我们首先将外生变量参数化为UNet LoRA，其溯因可以编码所有图像细节。其次，我们溯因另一个由文本编码器LoRA参数化的外生变量，它恢复了由过拟合的第一次溯因导致的可编辑性损失。由于第二次溯因专门编码了从编辑后到编辑前的视觉转换，其逆操作——减去LoRA——有效地将编辑前恢复到编辑后，从而完成编辑。通过大量实验，我们的DAC在可编辑性和保真度之间取得了良好的平衡。因此，我们可以支持广泛的用户编辑意图，包括添加、移除、操作、替换、风格迁移和面部变化，这些在定性和定量评估中都得到了广泛验证。代码在https://github.com/xuesong39/DAC。
引用
@article{arxiv.2403.02981,
title = {Doubly Abductive Counterfactual Inference for Text-based Image Editing},
author = {Xue Song and Jiequan Cui and Hanwang Zhang and Jingjing Chen and Richang Hong and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2403.02981},
year = {2024}
}
备注
Accepted by CVPR 2024