去除 DiT：基于扩散 Transformer 的快速视频填充
地球与行星天体物理
2025-06-17 v1 天体物理仪器与方法
太阳与恒星天体物理
摘要
视频对象移除和填充是计算机视觉和多媒体处理领域的关键任务，旨在恢复视频序列中缺失或损坏的区域。传统方法主要依赖基于流的传播和时空 Transformer，但这些方法在有效利用长期时间特征和确保完成结果的时间一致性方面存在局限，尤其是在处理大型掩码时。因此，处理大范围掩码区域的性能仍不理想。为此，本文提出一种新颖的视频填充方法，利用扩散 Transformer (DiT)。DiT synergistically 地将扩散模型和 Transformer 架构的优势结合起来，在保持长期时间一致性的同时确保高质量的填充结果。我们提出了一种循环位置偏移策略进一步增强推理阶段的长期时间一致性。此外，所提方法可交互式地移除指定对象并生成相应的提示。在处理速度方面，仅需65秒（在一块 NVIDIA H800 GPU 上测试）即可完成分辨率为 、包含97帧的视频，无需任何加速方法。实验结果表明，所提方法在内容保真度、纹理恢复和时间一致性方面表现优异。项目页面:https://jieliu95.github.io/EraserDiT_demo/
引用
@article{arxiv.2506.12854,
title = {A Far-Infrared Search for Planet Nine Using AKARI All-Sky Survey},
author = {Amos Y. -A. Chen and Tomotsugu Goto and Issei Yamamura and Takao Nakagawa and Cossas K. -W. Wu and Terry Long Phan and Tetsuya Hashimoto and Yuri Uno and Simon C. -C. Ho and Seong Jin Kim},
journal= {arXiv preprint arXiv:2506.12854},
year = {2025}
}
备注
12 pages, 8 figures, 2 tables. Accepted for publication in Publications of the Astronomical Society of Australia. For more information, see https://docs.google.com/document/d/1WUfVFAe-cWPEq4YJVCMagR3PaN_dudgWsGs9oZnVvQc/edit?usp=sharing