一种用于360度全景视频超分辨率的单帧与多帧联合网络

球面视频，又称\ang{360}（全景）视频，可通过计算机和头戴式显示器等多种虚拟现实设备观看。由于观看球面视频可获得极佳的沉浸感，其引起了大量关注。然而，采集、存储和传输高分辨率球面视频的成本极高。本文中，我们提出一种新颖的单帧与多帧联合网络（SMFN），用于从低分辨率输入恢复高分辨率球面视频。为利用像素级帧间一致性，采用可变形卷积来消除目标帧与其相邻帧特征图之间的运动差异。设计了一种混合注意力机制以增强特征表示能力。采用对偶学习策略来约束解空间从而找到更好的解。提出了一种基于加权均方误差的新型损失函数，以强调赤道区域超分辨率。这是首次尝试解决球面视频的超分辨率问题，并且我们从互联网收集了一个新颖的数据集MiG Panorama Video，包含204个视频。在4个代表性视频片段上的实验结果证明了所提方法的有效性。数据集与代码可在 https://github.com/lovepiano/SMFN_For_360VSR 获取。