OmniPaint:通过解耦插入-删除实现对象导向编辑
计算机视觉与模式识别
2025-04-15 v2
摘要
扩散生成模型已彻底革新了对象导向图像编辑,但其在实际对象移除和插入场景的部署仍受到物理效果交织及训练数据不足等挑战的制约。本文引入 OmniPaint,一个统一框架,重新概念化对象移除和插入作为相互依赖的过程而非孤立任务。利用预训练扩散先验,结合包含初始配对样本优化和随后通过 CycleFlow 的大规模非配对精炼的渐进式训练管道,OmniPaint 实现了精确的前景消除和无缝对象插入,同时忠实地保留场景几何和内在属性。此外,我们提出的新颖 CFD 指标提供了一种稳健、无参考的上下文一致性和对象幻觉评估,建立了面向高保真图像编辑的新基准。项目页面:https://yeates.github.io/OmniPaint-Page/
引用
@article{arxiv.2503.08676,
title = {Language-Depth Navigated Thermal and Visible Image Fusion},
author = {Jinchang Zhang and Zijun Li and Guoyu Lu},
journal= {arXiv preprint arXiv:2503.08676},
year = {2025}
}