深度视频修复检测
计算机视觉与模式识别
2021-01-28 v1
摘要
本文研究视频修复检测，即在空间和时间上定位视频中的修复区域。具体而言，我们引入了VIDNet（视频修复检测网络），其包含带有注意力模块的双流编码器-解码器架构。为揭示压缩中编码的伪影，VIDNet额外输入误差等级分析帧以增强RGB帧，通过编码器在不同层级产生多模态特征。探索空间与时间关系，这些特征进一步由卷积LSTM解码以预测修复区域的掩码。此外，在检测一个像素是否被修复时，我们提出了一种四向局部注意力模块，从四个方向借用其周围像素的信息。我们进行了大量实验来验证我们的方法。我们证明了，除其他外，VIDNet不仅以明显优势优于其他修复检测方法，而且在对训练时未见过的新视频上也具有良好的泛化能力。
引用
@article{arxiv.2101.11080,
title = {Deep Video Inpainting Detection},
author = {Peng Zhou and Ning Yu and Zuxuan Wu and Larry S. Davis and Abhinav Shrivastava and Ser-Nam Lim},
journal= {arXiv preprint arXiv:2101.11080},
year = {2021}
}