E2PNet：基于时空表示学习的事件到点云配准
计算机视觉与模式识别
2023-12-29 v2
摘要
事件相机近年来因其无与伦比的时间分辨率与动态范围而成为颇具前景的视觉传感器。尽管将 2D RGB 图像配准到 3D 点云是计算机视觉中一个长期存在的问题，但此前尚无工作研究事件相机的 2D-3D 配准。为此，我们提出 E2PNet，首个基于学习的事件到点云配准方法。E2PNet 的核心是一个称为事件-点到-张量（EP2T）的新颖特征表示网络，其将事件数据编码为 2D 网格状特征张量。这种网格状特征使得成熟的基于 RGB 的框架无需改变超参数与训练过程即可轻易用于事件到点云配准。EP2T 将事件输入视为时空点云。与平等对待点云所有维度的标准 3D 学习架构不同，EP2T 中新颖的采样与信息聚合模块被设计用于处理空间与时间维度的非均匀性。在 MVSEC 与 VECtor 数据集上的实验证明了 E2PNet 优于手工设计与其他基于学习的方法。与基于 RGB 的配准相比，由于使用事件数据，E2PNet 对极端光照或快速运动更为鲁棒。除 2D-3D 配准外，我们还展示了 EP2T 在其他视觉任务（如光流估计、事件到图像重建与目标识别）中的潜力。源代码见：https://github.com/Xmu-qcj/E2PNet。
引用
@article{arxiv.2311.18433,
title = {E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning},
author = {Xiuhong Lin and Changjie Qiu and Zhipeng Cai and Siqi Shen and Yu Zang and Weiquan Liu and Xuesheng Bian and Matthias Müller and Cheng Wang},
journal= {arXiv preprint arXiv:2311.18433},
year = {2023}
}
备注
10 pages, 4 figures, accepted by Thirty-seventh Conference on Neural Information Processing Systems(NeurIPS 2023)