AdapEdit：面向基于文本的连续性敏感图像编辑的时空引导自适应编辑算法
计算机视觉与模式识别
2024-06-25 v2
摘要
随着文本条件扩散模型在创意文本到图像生成领域的巨大成功，各种文本驱动的图像编辑方法吸引了众多研究者的关注。然而，先前的工作主要集中于离散性敏感的指令，例如添加、移除或替换特定对象、背景元素或全局风格（即硬编辑），而普遍忽略了主体绑定但语义上精细变化的连续性敏感指令，例如动作、姿势或形容词等（即软编辑），这阻碍了生成式 AI 生成用户定制的视觉内容。为了缓解这一困境，我们提出了一种时空引导的自适应编辑算法 AdapEdit，该算法通过引入软注意力策略，从时间和空间两个维度动态改变编辑条件对视觉像素的引导程度，从而实现自适应图像编辑。值得注意的是，我们的方法在保持模型先验方面具有显著优势，并且不需要模型训练、微调、额外数据或优化。我们展示了在多种原始图像和编辑指令上的结果，证明了其具有竞争力的性能，并表明它显著优于先前的方法。
引用
@article{arxiv.2312.08019,
title = {AdapEdit: Spatio-Temporal Guided Adaptive Editing Algorithm for Text-Based Continuity-Sensitive Image Editing},
author = {Zhiyuan Ma and Guoli Jia and Bowen Zhou},
journal= {arXiv preprint arXiv:2312.08019},
year = {2024}
}