SpecRef：特定参考条件真实图像编辑的快速无训练基线
计算机视觉与模式识别
2024-01-09 v1
摘要
基于大型扩散生成模型的文本条件图像编辑引起了业界和学术界的关注。大多数现有方法是非参考编辑，用户只能提供源图像和文本提示。然而，这限制了用户对编辑结果特征的控制。为了增加用户的自由度，我们提出了一项名为“特定参考条件真实图像编辑”的新任务，允许用户提供参考图像以进一步控制结果，例如用特定物体替换某个物体。为此，我们提出了一种名为 SpecRef 的快速基线方法。具体而言，我们设计了一个特定参考注意力控制器以整合参考图像的特征，并采用掩码机制以防止编辑区域与非编辑区域之间的干扰。我们在典型的编辑任务上评估了 SpecRef，结果表明其能取得令人满意的性能。源代码可在 https://github.com/jingjiqinggong/specp2p 获取。
引用
@article{arxiv.2401.03433,
title = {SpecRef: A Fast Training-free Baseline of Specific Reference-Condition Real Image Editing},
author = {Songyan Chen and Jiancheng Huang},
journal= {arXiv preprint arXiv:2401.03433},
year = {2024}
}