具有联合优化策略的视频重缩放网络：降采样与上采样

本文探讨视频重缩放任务，其源于将视频空间分辨率适配至个体观看设备的需求。我们旨在将视频降采样与上采样作为组合任务进行联合优化。近期多数研究聚焦于基于图像的方案，未考虑时间信息。我们提出两种基于带耦合层的可逆神经网络的联合优化方法。我们的长短期记忆视频重缩放网络（LSTM-VRN）利用低分辨率视频中的时间信息，对缺失的高频信息形成显式预测以用于上采样。我们的多输入多输出视频重缩放网络（MIMO-VRN）提出了一种同时对一组视频帧进行降采样与上采样的策略。它们在定量与定性结果上不仅优于基于图像的可逆模型，而且相较无联合优化的视频重缩放方法显示出大幅改善的上采样质量。据我们所知，本工作是视频降采样与上采样联合优化的首次尝试。