学习时空下采样以实现高效视频上采样
计算机视觉与模式识别
2022-03-16 v1 人工智能
多媒体
摘要
下采样是最基础的图像处理操作之一。在视频上施加不恰当的时空下采样会导致空间上的莫尔条纹与时间上的车轮效应等混叠问题。因此，由于信息丢失与混叠伪影，在空间与时间上对已降分辨率、低帧率视频进行上采样的逆任务成为一个极具挑战的病态问题。本文旨在通过学习一个时空下采样器来解决时空混叠问题。为此，我们提出一个联合学习时空下采样与上采样的神经网络框架。它使下采样器能够保留原始视频的关键模式，并最大化上采样器的重建性能。为使下采样结果兼容流行的图像与视频存储格式，下采样结果通过可微量化层编码为 uint8。为充分利用时空对应关系，我们提出两个新颖模块用于显式时间传播与时空特征重排。实验结果表明，我们所提方法通过在下采样与上采样中保留空间纹理与运动模式，显著提升了时空重建质量。此外，我们的框架支持多种应用，包括任意视频重采样、模糊帧重建与高效视频存储。
引用
@article{arxiv.2203.08140,
title = {Learning Spatio-Temporal Downsampling for Effective Video Upscaling},
author = {Xiaoyu Xiang and Yapeng Tian and Vijay Rengarajan and Lucas Young and Bo Zhu and Rakesh Ranjan},
journal= {arXiv preprint arXiv:2203.08140},
year = {2022}
}
备注
Main paper: 13 pages, 8 figures; appendix: 8 pages, 10 figures