EMR-MSF：利用自运动刚性的自监督循环单目场景流方法
计算机视觉与模式识别
2023-09-06 v1
摘要
自监督单目场景流估计旨在从两帧时间上连续的单目图像理解三维结构与三维运动，因其简单经济的传感器配置而受到越来越多的关注。然而，当前方法的精度受限于低效网络架构与缺乏用于正则化的运动刚性。本文中，我们通过借鉴监督学习范畴下的网络架构设计优势，提出了一种名为 EMR-MSF 的更优模型。我们进一步通过精心构建的自运动聚合模块施加显式且鲁棒的几何约束，其中提出刚性软掩码以滤除动态区域，从而利用静态区域进行稳定自运动估计。此外，我们提出运动一致性损失与掩码正则化损失以充分挖掘静态区域。若干高效训练策略被整合，包括梯度分离技术与增强的视图合成过程，以提升性能。我们所提方法大幅优于先前自监督工作，并追平监督方法的性能。在 KITTI 场景流基准上，我们的方法将最先进自监督单目方法的 SF-all 指标提升 44%，并在深度与视觉里程计等子任务上展现出优于其他自监督单任务或多任务方法的性能。
引用
@article{arxiv.2309.01296,
title = {EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting Ego-Motion Rigidity},
author = {Zijie Jiang and Masatoshi Okutomi},
journal= {arXiv preprint arXiv:2309.01296},
year = {2023}
}
备注
To appear at ICCV 2023