基于交互式分布转换估计的时间变异图像填充
计算机视觉与模式识别
2025-07-01 v1 人工智能
摘要
本工作聚焦于一种新颖且实用的任务，即时间变异图像填充（TAMP）。TAMP 的目标是通过利用从参考图像中获取的互补信息来恢复受损的目标图像，其中两幅图像均捕获了相同的场景，但彼此之间存在显著的时间差。与传统参考导向图像填充不同，TAMP 设置下的参考图像与目标图像呈现显著的内容差异，可能本身也存在损坏。这种应用经常发生在我们日常生活中，通过参考另一幅图像来恢复受损图像，而该参考图像的来源和质量无法保证。我们的研究发现，即使是最先进（SOTA）的参考导向图像填充方法也难以实现合理的结果。为解决此病态问题，我们提出了一种新的交互式分布转换估计（InDiTE）模块，通过自适应语义互补时间变异图像来促进受损区域的恢复。为进一步提升性能，我们提出了我们的 TAMP 解决方案，即基于 InDiTE 的扩散模型（InDiTE-Diff），将 InDiTE 与 SOTA 扩散模型集成，并在采样期间进行潜在的交叉参考。此外，鉴于 TAMP 任务缺乏基准数据集，我们新组装了一个数据集，即 TAMP-Street，基于现有的图像和掩码数据集。我们在 TAMP-Street 数据集上进行了实验，分别针对两种不同的时间变异图像填充设置，结果显示我们的方法在解决 TAMP 时始终优于 SOTA 参考导向图像填充方法。
引用
@article{arxiv.2506.23461,
title = {Time-variant Image Inpainting via Interactive Distribution Transition Estimation},
author = {Yun Xing and Qing Guo and Xiaoguang Li and Yihao Huang and Xiaofeng Cao and Di Lin and Ivor Tsang and Lei Ma},
journal= {arXiv preprint arXiv:2506.23461},
year = {2025}
}