从点云序列学习场景动态
计算机视觉与模式识别
2021-11-18 v1 人工智能
摘要
理解 3D 场景是自主智能体的关键前提。近来，LiDAR 及其他传感器以时间点云帧序列的形式提供了大量数据。在本工作中，我们提出一个新问题——序列场景流估计（SSFE）——旨在预测给定序列中所有点云对的 3D 场景流。这与先前研究的场景流估计问题不同，后者聚焦于两帧。我们引入 SPCM-Net 架构，该架构通过计算相邻点云间的多尺度时空相关性，随后用顺序不变循环单元跨时间聚合相关性来解决此问题。我们的实验评估证实，对点云序列的循环处理相比仅使用两帧可显著改善 SSFE。此外，我们展示了该方法可有效改进用于序列点云预测（SPF）这一相关问题的求解，SPF 要求预测未来的点云帧。我们的实验结果使用一个新的 SSFE 与 SPF 基准进行评估，该基准由合成与真实数据集组成。此前，场景流估计的数据集仅限于两帧。我们为这些数据集提供了用于多帧估计与预测的非平凡扩展。由于难以获取真实世界数据集的地面真实运动，我们使用自监督训练与评估指标。我们相信该基准将对未来此领域的研究起关键作用。基准与模型的所有代码都将公开。
引用
@article{arxiv.2111.08755,
title = {Learning Scene Dynamics from Point Cloud Sequences},
author = {Pan He and Patrick Emami and Sanjay Ranka and Anand Rangarajan},
journal= {arXiv preprint arXiv:2111.08755},
year = {2021}
}
备注
Accepted for publication in International Journal of Computer Vision, Special Issue on 3D Computer Vision. Code and data: https://github.com/BestSonny/SPCM