InstantSwap：快速处理锋利形状差异的定制概念置换
计算机视觉与模式识别
2024-12-04 v2 人工智能
摘要
近期在定制概念置换（Customized Concept Swapping，CCS）方面的进展使文本到图像模型能够在源图像中置换特定概念。然而，现有方法仍面临一致性和效率问题。它们在置换概念时难以在前景和背景之间保持一致性，尤其是在对象之间形状差异较大时。此外，这些方法要么需要耗时的训练过程，要么在推理过程中涉及冗余计算。为此，我们引入了 InstantSwap，这是一种旨在处理锋利形状差异并实现快速置换的新型 CCS 方法。具体而言，我们首先基于注意力图分析自动提取源图像中对象的边界框（bbox），并利用该边界框实现前景和背景的一致性。对于背景一致性，我们在置换过程中移除边界框之外的梯度，以此防止背景被修改。对于前景一致性，我们采用跨注意力机制将语义信息注入源概念和目标概念内部的两个位置。这有助于学习语义增强的表征，鼓励置换过程聚焦于前景对象。为提高置换速度，我们避免在每个时间步计算梯度，而是定期计算梯度以减少前向传递次数，这在稍微牺牲一点性能的情况下大幅提高了效率。最后，我们建立了一个基准数据集以促进全面评估。广泛的评估表明，InstantSwap 在处理锋利形状差异方面具有卓越的优势和多样性。项目页面：https://instantswap.github.io/
引用
@article{arxiv.2412.01197,
title = {InstantSwap: Fast Customized Concept Swapping across Sharp Shape Differences},
author = {Chenyang Zhu and Kai Li and Yue Ma and Longxiang Tang and Chengyu Fang and Chubin Chen and Qifeng Chen and Xiu Li},
journal= {arXiv preprint arXiv:2412.01197},
year = {2024}
}
备注
Project Page: https://instantswap.github.io/. Github Page: https://github.com/chenyangzhu1/InstantSwap