中文

PICS:带空间相互作用的成对图像合成

计算机视觉与模式识别 2026-03-10 v1

摘要

尽管扩散模型在单轮成像方面表现强劲,但在成对或顺序编辑中,往往难以保持空间关系的连贯性,后续插入可能会覆盖先前生成的内容并破坏物理一致性。我们引入PICS(Pairwise Image Compositing with Spatial Interactions,带空间相互作用的成对图像合成),一种自监督的分解式合成范式,能够在显式建模(完全/部分)可见对象与背景之间的组成相互作用的同时,平行合成对象。其核心是Interaction Transformer(交互Transformer),采用掩码引导的Mixture-of-Experts 以将背景、专属区域和重叠区域路由到专用专家,并采用自适应{\alpha}-混合策略推断重叠对象的兼容性感知融合,同时保持边界保真度。为进一步增强对几何变化的鲁棒性,我们纳入覆盖对象三自由度和平面姿态变化的几何感知数据增强。我们的方法在成对合成质量和稳定性方面均显著优于最先进的基线,广泛评估了虚拟试穿、室内和街道场景,显示出持久的性能提升。代码和数据已在 https://github.com/RyanHangZhou/PICS 提供。

关键词

引用

@article{arxiv.2603.06873,
  title  = {PICS: Pairwise Image Compositing with Spatial Interactions},
  author = {Hang Zhou and Xinxin Zuo and Sen Wang and Li Cheng},
  journal= {arXiv preprint arXiv:2603.06873},
  year   = {2026}
}

备注

ICLR 2026. Project page: https://ryanhangzhou.github.io/pics/ , code: https://github.com/RyanHangZhou/PICS