IMPRINT：基于学习身份保持表示的生成式对象合成
计算机视觉与模式识别
2024-03-19 v1
摘要
生成式对象合成正在成为构图图像编辑的有前景的新方向。然而，要求保持 object identity 的存在 posed a significant challenge，限制了大多数现有方法的实际应用。为此，本文引入 IMPRINT，一种基于 diffusion 的生成式模型，通过 two-stage 学习框架实现将 identity preservation 从 compositing 中解耦。第一阶段旨在进行 context-agnostic、identity-preserving 的 pretraining，以使 object encoder 学习到既 view-invariant 又有利于 enhanced detail preservation 的 embedding。后续阶段利用该 representation 来学习 object 被合成到 background 后的 seamless harmonization。此外，IMPRINT 集成了 shape-guidance 机制，为 compositing 过程提供 user-directed control。广泛的实验表明，IMPRINT 在 identity preservation 和 composition quality 上显著优于现有方法和 various baselines。
引用
@article{arxiv.2403.10701,
title = {IMPRINT: Generative Object Compositing by Learning Identity-Preserving Representation},
author = {Yizhi Song and Zhifei Zhang and Zhe Lin and Scott Cohen and Brian Price and Jianming Zhang and Soo Ye Kim and He Zhang and Wei Xiong and Daniel Aliaga},
journal= {arXiv preprint arXiv:2403.10701},
year = {2024}
}