面向初始噪声扰动的源感知对象置换

对象置换旨在替换场景中某个源对象，同时保持对象保真度、场景保真度和对象-场景和谐。现有方法要么需要针对每个对象进行微调且推理缓慢，要么依赖额外的配对数据（这些数据大多描绘相同对象在不同情境下的情形），迫使模型依赖背景线索而非学习跨对象对齐。我们提出 SourceSwap，一个自监督且源感知的框架，学习跨对象对齐。我们的关键洞察是通过初始噪声空间中的频率分离扰动合成高质量伪配对对，这会改变外观但保留姿态、粗形状和场景布局，无需视频、多视角数据或额外图像。我们随后训练一个全源条件的双 U-Net 和一个无噪声参考编码器，实现直接的对象间对齐、零样本推理（无需针对每个对象进行微调）以及轻量级迭代细化。我们进一步引入 SourceBench，一个具有更高分辨率、更多类别和更丰富相互作用的高质量基准。实验表明，SourceSwap 在保真度、场景保留和更自然的和谐性方面均优于现有方法，并能良好迁移到如主体驱动的细化和人脸置换等编辑任务。