BARET：基于平衡注意力与目标文本反演的真实图像编辑
计算机视觉与模式识别
2023-12-12 v1 人工智能
摘要
基于扩散模型的图像编辑方法发展迅速，但其适用性受限于特定编辑类型（例如前景或背景对象编辑、风格迁移）、多重条件（例如掩码、草图、字幕）以及耗时的扩散模型微调等要求。为了缓解这些限制并实现高效的真实图像编辑，我们提出了一种新颖的编辑技术，该技术仅需输入图像和目标文本即可实现包括非刚性编辑在内的多种编辑类型，且无需微调扩散模型。我们的方法包含三个创新点：（I）设计了目标文本反演调度以微调输入目标文本嵌入，从而在无需图像字幕的情况下实现快速图像重建并加速收敛。（II）渐进过渡方案在目标文本嵌入及其微调版本之间应用渐进线性插值，以生成用于保持非刚性编辑能力的过渡嵌入。（III）平衡注意力模块（BAM）平衡了文本描述与图像语义之间的权衡。通过结合重建过程的自注意力图和过渡过程的交叉注意力图，优化了扩散过程中目标文本嵌入的引导。为了证明所提出的 BARET 的编辑能力、有效性和效率，我们进行了广泛的定性和定量实验。此外，用户研究和消融研究得出的结果进一步证明了其相对于其他方法的优越性。
引用
@article{arxiv.2312.05482,
title = {BARET : Balanced Attention based Real image Editing driven by Target-text Inversion},
author = {Yuming Qiao and Fanyi Wang and Jingwen Su and Yanhao Zhang and Yunjie Yu and Siyu Wu and Guo-Jun Qi},
journal= {arXiv preprint arXiv:2312.05482},
year = {2023}
}
备注
Accepted by AAAI2024