通过孪生表示学习 360 度视频中的全向光流
计算机视觉与模式识别
2022-08-09 v1
摘要
全向视频中的光流估计面临两个重要问题：缺乏基准数据集，以及难以将基于透视视频的方法调整以适应全向特性。本文提出了首个具有 360 度视场、感知上自然的合成全向基准数据集 FLOW360，包含 40 个不同视频和 4,000 个视频帧。我们对本数据集与现有光流数据集进行了全面的特征分析与比较，显示出感知真实感、独特性和多样性。为适应全向特性，我们提出了一种用于全向光流的新型孪生表示学习框架（SLOF）。我们以对比方式训练网络，使用结合对比损失与光流损失的混合损失函数。大量实验验证了所提框架的有效性，并显示出比最先进方法高达 40% 的性能提升。我们的 FLOW360 数据集与代码可在 https://siamlof.github.io/ 获取。
引用
@article{arxiv.2208.03620,
title = {Learning Omnidirectional Flow in 360-degree Video via Siamese Representation},
author = {Keshav Bhandari and Bin Duan and Gaowen Liu and Hugo Latapie and Ziliang Zong and Yan Yan},
journal= {arXiv preprint arXiv:2208.03620},
year = {2022}
}
备注
Accepted to ECCV22