360°视频中的光流估计：数据集、模型与应用
计算机视觉与模式识别
2023-01-30 v1
摘要
光流估计一直是计算机视觉领域一个长期存在的基础性问题。然而，尽管透视视频中的光流估计已取得诸多进展，360°视频 counterpart 仍处于起步阶段，主要归因于基准数据集的匮乏以及未能适应360°视频的全向特性。我们提出了首个感知逼真的360°视场视频基准数据集，即FLOW360，包含40段不同视频与4,000个视频帧。随后，我们对该数据集进行了全面的特征分析并与现有数据集展开广泛对比，揭示了FLOW360在感知逼真度、独特性和多样性上的优势。此外，我们提出了一种用于全向光流（Omnidirectional Flow）估计的新型孪生表示学习框架（SLOF），其以对比方式进行训练，采用结合孪生对比损失与光流损失的混合损失。通过对输入全向帧施加随机旋转来训练模型，我们所提出的对比方案适应了360°视频中光流估计的全向特性，从而显著降低了预测误差。该学习方案进一步被证明是高效的：我们将孪生学习方案与全向光流估计拓展至以自我为中心的活动识别任务，分类准确率提升了高达∼26%。综上，我们从基准数据集、学习模型以及实际应用三个层面研究了360°视频中的光流估计问题。FLOW360数据集与代码发布于 https://siamlof.github.io。
引用
@article{arxiv.2301.11880,
title = {Optical Flow Estimation in 360$^\circ$ Videos: Dataset, Model and Application},
author = {Bin Duan and Keshav Bhandari and Gaowen Liu and Yan Yan},
journal= {arXiv preprint arXiv:2301.11880},
year = {2023}
}
备注
20 pages, 14 figures, conference extension. arXiv admin note: substantial text overlap with arXiv:2208.03620