CamLiFlow：用于联合光流与场景流估计的双向相机-激光雷达融合
计算机视觉与模式识别
2022-04-13 v4
摘要
本文研究从同步的2D和3D数据联合估计光流与场景流的问题。以往方法要么采用将联合任务拆分为独立阶段的复杂流程，要么以“早期融合”或“晚期融合”方式融合2D与3D信息。此类一刀切的方法面临两难：无法充分利用各模态特性，或无法最大化模态间互补性。为此，我们提出一种新颖的端到端框架CamLiFlow。它包含2D与3D分支，并在特定层间具有多个双向连接。与以往工作不同，我们采用基于点的3D分支以更好地提取几何特征，并设计对称可学习算子来融合稠密图像特征与稀疏点特征。实验表明，CamLiFlow以更少参数取得更优性能。我们的方法在KITTI Scene Flow基准上排名第1，以1/7的参数超越此前最优方法。代码见 https://github.com/MCG-NJU/CamLiFlow。
引用
@article{arxiv.2111.10502,
title = {CamLiFlow: Bidirectional Camera-LiDAR Fusion for Joint Optical Flow and Scene Flow Estimation},
author = {Haisong Liu and Tao Lu and Yihui Xu and Jia Liu and Wenjie Li and Lijun Chen},
journal= {arXiv preprint arXiv:2111.10502},
year = {2022}
}
备注
Accepted to CVPR 2022 (Oral)