基于扩散模型的遮挡物运动框架
计算机视觉与模式识别
2025-04-03 v1
摘要
在场景中无缝移动物体是图像编辑中常见的需求，但对于现有编辑方法而言仍具有挑战性。尤其是对于真实图像，遮挡情况进一步增加了难度。主要难点在于：在运动之前需要完成遮挡部分。为充分利用预训练扩散模型中嵌入的真实世界知识，我们提出了一个专为遮挡物运动设计的扩散框架，命名为DiffOOM。该框架包含两个平行的分支，分别执行物体去遮挡和运动。去遮挡分支采用背景颜色填充策略和不断更新的对象掩码，以聚焦扩散过程完成目标物体被遮挡部分。同时，运动分支采用潜在优化将完成的物体置于目标位置，并采用局部文本条件引导将物体合适地整合到新周围环境中。广泛的评估表明，我们方法性能卓越，用户研究结果也进一步验证了这一点。
引用
@article{arxiv.2504.01873,
title = {A Diffusion-Based Framework for Occluded Object Movement},
author = {Zheng-Peng Duan and Jiawei Zhang and Siyu Liu and Zheng Lin and Chun-Le Guo and Dongqing Zou and Jimmy Ren and Chongyi Li},
journal= {arXiv preprint arXiv:2504.01873},
year = {2025}
}