Mumpy：用于视频填充检测的多边缘时空金字塔 Transformer

视频填充检测旨在暴露视频序列中被填充的像素级区域。现有方法通常 focus on 利用时空不一致性，但这些方法通常采用固定操作组合时空线索，限制了其在不同情景中的适用性。本文引入一种新型多边缘时空金字塔 Transformer（{\em MumPy}），灵活地协作时空线索。我们利用新设计的多边缘时空视图编码器提取各种时空线索的协作方式，并引入基于可变窗的时空视图交互模块以增强这些协作方式的多样性。随后，我们开发了多金字塔解码器来聚合各种类型的特征并生成检测图。通过调整时空线索的贡献强度，我们的方法能够有效识别被填充的区域。我们在现有数据集上验证了该方法，同时引入了一个基于 YouTube-VOS 数据集构建的新型大规模 Video Inpainting 数据集，采用几种更近期的填充方法。结果表明，我们的方法在 both in-domain 和 cross-domain 评估情景中均优于现有方法。