社交媒体分享用户视频的复原
计算机视觉与模式识别
2022-08-29 v2 多媒体
摘要
社交媒体平台上分享的用户视频通常遭受由未知专有处理流程引起的退化，这意味着其视觉质量劣于原始视频。本文提出一种新的通用视频复原框架，用于复原社交媒体平台上分享的用户视频。与大多数基于深度学习的视频复原方法执行端到端映射（其中特征提取多被视为黑箱，即特征起何作用往往未知）不同，我们的新方法称为通过自适应退化感知的视频复原（Video restOration through adapTive dEgradation Sensing, VOTES），引入了退化特征图（degradation feature map, DFM）的概念以显式引导视频复原过程。具体而言，对每帧视频，我们首先自适应估计其 DFM 以提取表示不同区域复原难度的特征。然后将 DFM 输入卷积神经网络（CNN）以计算层次化退化特征，从而调制端到端视频复原骨干网络，使显式注意力更多地投向潜在更难复原的区域，进而提升复原性能。我们将解释 VOTES 框架的设计原理，并给出大量实验结果，表明新 VOTES 方法在定量与定性上均优于多种最先进（state-of-the-art）技术。此外，我们贡献了一个不同社交媒体平台上分享的用户视频的大规模真实世界数据库。代码与数据集见 https://github.com/luohongming/VOTES.git
引用
@article{arxiv.2208.08597,
title = {Restoration of User Videos Shared on Social Media},
author = {Hongming Luo and Fei Zhou and Kin-man Lam and Guoping Qiu},
journal= {arXiv preprint arXiv:2208.08597},
year = {2022}
}
备注
This paper has been accepted by ACMMM2022