遮挡感知的视频对象修复

传统视频修复既非面向对象，也不具备遮挡感知能力，在修复大面积遮挡对象区域时容易产生明显伪影。本文提出遮挡感知的视频对象修复，在给定可见掩码分割的条件下，恢复视频中遮挡对象的完整形状与外观。为推动这一新研究，我们构建了首个大规模视频对象修复基准YouTube-VOI，提供具有真实遮挡场景且同时包含遮挡与可见对象掩码的数据。我们的技术贡献VOIN联合执行视频对象形状补全与遮挡纹理生成。具体而言，形状补全模块建模长距离对象一致性，而光流补全模块恢复具有清晰运动边界的准确光流，从而将时间一致的纹理传播至跨帧的同一运动对象。为获得更真实的结果，VOIN采用T-PatchGAN与一种新的基于时空注意力的多类判别器进行优化。最后，我们在YouTube-VOI上将VOIN与强基线方法进行比较。实验结果清晰证明了我们所提方法的有效性，包括修复复杂动态对象。VOIN在输入可见掩码不准确时性能退化平缓。