RPEFlow：融合RGB-点云-事件的联合光流与场景流估计多模态模型
计算机视觉与模式识别
2023-09-27 v1
摘要
近年来，已有方法提出融合RGB图像与点云以联合估计2D光流和3D场景流。然而，由于传统RGB相机和LiDAR传感器均采用基于帧的数据采集机制，其性能受限于固定的低采样率，尤其在高度动态场景中。相比之下，事件相机能够以极高时间分辨率异步捕获强度变化，提供所观测场景的补充动态信息。本文中，我们结合RGB图像、点云和事件，利用所提出的多阶段多模态融合模型RPEFlow进行联合光流与场景流估计。首先，我们提出一个具有交叉注意力机制的注意力融合模块，分别隐式探索2D与3D分支的内部跨模态关联。其次，我们引入互信息正则化项，显式建模三种模态的互补信息以实现有效的多模态特征学习。我们还贡献了一个新的合成数据集以推动进一步研究。在合成与真实数据集上的实验表明，我们的模型大幅优于现有的state-of-the-art。代码与数据集见https://npucvr.github.io/RPEFlow。
引用
@article{arxiv.2309.15082,
title = {RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical Flow and Scene Flow Estimation},
author = {Zhexiong Wan and Yuxin Mao and Jing Zhang and Yuchao Dai},
journal= {arXiv preprint arXiv:2309.15082},
year = {2023}
}
备注
ICCV 2023. Project page: https://npucvr.github.io/RPEFlow Code: https://github.com/danqu130/RPEFlow