重新审视360视频中的光流估计

随着高质量、低成本的360可穿戴设备的出现，360视频分析已成为该领域的重要研究课题。本文中，我们提出了一种用于360视频光流估计的新型LiteFlowNet360架构。我们将LiteFlowNet360设计为从透视视频域到360视频域的域适应框架。我们受核变换网络（KTN）启发，通过简单的核变换技术对其进行调整，以应对由球到平面投影引起的360视频固有畸变。首先，我们在特征金字塔网络中对卷积层施加增量变换，并表明在推理与正则化层中的进一步变换并不重要，从而在网络规模与计算成本方面减少了网络增长。其次，我们通过使用增强数据以有监督方式训练来精炼网络。我们通过将图像投影到球面再重投影到平面来进行数据增强。第三，我们使用目标域360视频以自监督方式训练LiteFlowNet360。实验结果表明，使用所提新型架构进行360视频光流估计取得了有前景的结果。