基于全局运动传播的点云场景流估计网络——FlowMamba
计算机视觉与模式识别
2024-12-24 v1
摘要
基于深度学习的场景流方法已取得显著性能，但当前领先方法在鲁棒性较差的区域（如大面积平坦区域或遮挡处）仍面临挑战，由于缺乏足够的局部证据。本文提出一种 novel 的全局感知场景流估计网络，称为 FlowMamba。FlowMama 的核心思想是基于状态空间模型（State Space Model, SSMs）的 novel 迭代单元（ISU），该单元首先传播全局运动模式，然后自适应地将全局运动信息与先前隐藏状态集成。鉴于点云的非规则性质，ISU 在全局运动传播方面的性能受到限制，我们提出了基于特征诱导的排序策略（FIO）。FIO 利用语义相关和运动相关特征，将点排序为具有空间连续性的序列。大量实验表明 FlowMamba 的有效性，在 FlyingThings3D 和 KITTI 数据集上分别实现了 21.9% 和 20.5% 的 EPE3D 降低。具体而言，FlowMamba 是首个在 FlyingThings3D 和 KITTI 上实现毫米级预测精度的方法。此外，所提出的 ISU 可 seamless 嵌入到现有迭代网络中作为即插即用模块，显著提高了估计精度。
引用
@article{arxiv.2412.17366,
title = {FlowMamba: Learning Point Cloud Scene Flow with Global Motion Propagation},
author = {Min Lin and Gangwei Xu and Yun Wang and Xianqi Wang and Xin Yang},
journal= {arXiv preprint arXiv:2412.17366},
year = {2024}
}
备注
Accepted to AAAI 2025