基于时空辅助网络的转码视频复原
计算机视觉与模式识别
2021-12-16 v1 图像与视频处理
摘要
在大多数视频平台（如 Youtube 和 TikTok）中，播放的视频通常经历了多次视频编码，例如录制设备的硬件编码、视频编辑软件的软件编码，以及视频应用服务器的单次/多次视频转码。先前关于压缩视频复原的工作通常假设压缩伪影由一次性编码引起。因此，所推导的方案在实践中通常表现不佳。本文中，我们提出一种新方法——时空辅助网络（TSAN），用于转码视频复原。我们的方法考虑了视频编码与转码之间的独特特征，并将初始浅层编码视频作为中间标签，辅助网络进行自监督注意力训练。此外，我们利用相邻多帧信息，提出时间可变形对齐与金字塔空间融合用于转码视频复原。实验结果表明，所提方法的性能优于先前技术。代码见 https://github.com/icecherylXuli/TSAN。
引用
@article{arxiv.2112.07948,
title = {Transcoded Video Restoration by Temporal Spatial Auxiliary Network},
author = {Li Xu and Gang He and Jinjia Zhou and Jie Lei and Weiying Xie and Yunsong Li and Yu-Wing Tai},
journal= {arXiv preprint arXiv:2112.07948},
year = {2021}
}
备注
Accepted by AAAI2022