SwapAnything:实现个性化视觉编辑中的任意对象交换
计算机视觉与模式识别
2024-10-04 v3 人工智能
摘要
个性化内容的有效编辑在使个人能够表达创造力、在视觉故事中编织引人入胜的叙事以及提升视觉内容的整体质量和影响力方面发挥着关键作用。因此,在这项工作中,我们引入了SwapAnything,这是一个新颖的框架,可以用参考图像给定的个性化概念交换图像中的任意对象,同时保持上下文不变。与现有的个性化主体交换方法相比,SwapAnything具有三个独特优势:(1) 对任意对象和部分而非主要主体进行精确控制,(2) 更忠实地保留上下文像素,(3) 更好地将个性化概念适应到图像中。首先,我们提出目标变量交换,对潜在特征图应用区域控制并交换掩码变量,以实现忠实的上下文保留和初始语义概念交换。然后,我们引入外观适应,在图像生成过程中,将语义概念无缝地适应到原始图像中的目标位置、形状、风格和内容。在人工评估和自动评估上的大量结果表明,我们的方法在个性化交换上相比基线方法有显著改进。此外,SwapAnything展示了其在单对象、多对象、部分对象和跨域交换任务中的精确和忠实交换能力。SwapAnything在基于文本的交换以及超出交换的任务(如对象插入)上也取得了出色的性能。
引用
@article{arxiv.2404.05717,
title = {SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing},
author = {Jing Gu and Nanxuan Zhao and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Yilin Wang and Xin Eric Wang},
journal= {arXiv preprint arXiv:2404.05717},
year = {2024}
}
备注
ECCV 2024, 23 pages, 14 figures, 3 tables