通过对齐帧间导引提升视频填充性能
计算机视觉与模式识别
2025-11-17 v2
摘要
最近的基于图像到视频（I2V）的视频填充方法通过利用单图像先验和建模跨遮挡帧的时间一致性取得了显著进展。然而，这些方法在视频块内的内容降解问题仍然严重。此外，缺乏稳健的帧对齐方案会损害帧内和帧间时空稳定性，导致对整个视频的控制不足。为此，我们提出了VidPivot框架，将视频填充解耦为两个子任务：多帧一致图像填充和遮挡区域运动传播。我们方法引入帧间先验作为时空线索来指导填充过程。为增强跨帧一致性，我们设计了FrameProp模块，该模块实现帧内容传播策略，通过拼接机制将参考帧内容扩散到后续帧中。此外，一个专门的上下文控制器将这些连贯的帧先验编码到I2V生成主干中，有效作为软约束来抑制生成期间的内容失真。广泛的评估表明，VidPivot在多样化的基准上实现了竞争性能，并能良好推广到不同的视频填充场景。
引用
@article{arxiv.2510.21461,
title = {Enhancing Video Inpainting with Aligned Frame Interval Guidance},
author = {Ming Xie and Junqiu Yu and Qiaole Dong and Xiangyang Xue and Yanwei Fu},
journal= {arXiv preprint arXiv:2510.21461},
year = {2025}
}
备注
15 pages