用于深度视频补全的洋葱剥皮网络

我们提出了用于视频补全的洋葱剥皮网络。给定一组参考图像和一个带有缺失区域的目标图像，我们的网络通过参考参考图像中的内容来填充缺失区域。我们的洋葱剥皮网络从缺失区域边界逐步填充缺失区域，使其每一步都能利用更丰富的上下文信息来补全缺失区域。给定足够的循环次数，即使是大块缺失区域也能成功修复。为了关注参考图像中可见的缺失信息，我们提出了一种非对称注意力块，以非局部方式计算目标图像中缺失区域边界像素与参考图像中非缺失像素之间的相似度。借助我们的注意力块，我们的网络可以具有无限大的时空窗口尺寸，并用全局一致的内容填充缺失区域。此外，我们的框架无需任何修改即可应用于由参考图像引导的图像补全，而这是以往方法难以做到的。我们验证了我们的方法在真实测试案例中生成了视觉上令人愉悦的图像和视频修复结果。