GyroFlow+: 基于陀螺仪引导的无监督深度单应性与光流学习
计算机视觉与模式识别
2023-05-30 v2
摘要
现有的单应性和光流方法在雾、雨、夜、雪等挑战性场景中会出现错误，因为亮度与梯度恒定等基本假设被打破。为解决此问题，我们提出了一种将陀螺仪融合进单应性与光流学习的无监督学习方法。具体而言，我们首先将陀螺仪读数转换为名为陀螺仪场（gyro field）的运动场。其次，我们设计了一个自引导融合模块（SGF）以融合从陀螺仪场提取的背景运动与光流，并引导网络关注运动细节。同时，我们提出了一个单应性解码器模块（HD）来结合陀螺仪场与SGF的中间结果以生成单应性。据我们所知，这是首个将陀螺仪数据与图像内容融合用于深度单应性和光流学习的深度学习框架。为验证我们的方法，我们提出了一个涵盖常规与挑战性场景的新数据集。实验表明，我们的方法在常规与挑战性场景中均优于最先进（state-of-the-art）的方法。
引用
@article{arxiv.2301.10018,
title = {GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical Flow Learning},
author = {Haipeng Li and Kunming Luo and Bing Zeng and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2301.10018},
year = {2023}
}
备注
12 pages. arXiv admin note: substantial text overlap with arXiv:2103.13725