NSM4D：基于神经场景模型的在线 4D 点云序列理解
计算机视觉与模式识别
2023-10-13 v1
摘要
在线理解 4D 点云序列在 VR/AR、机器人与自动驾驶等多种场景中具有重大实用价值。其关键目标是在非结构化且冗余的点云序列不断到达时，持续分析 3D 场景的几何与动态。主要挑战在于有效建模长期历史的同时保持计算成本可控。为应对这些挑战，我们提出一种称为 NSM4D 的通用在线 4D 感知范式。NSM4D 作为一种即插即用策略，可适配现有 4D 骨干网络，显著提升其在室内与室外场景中的在线感知能力。为高效捕获冗余的 4D 历史，我们提出一种神经场景模型，通过分别构建存储几何与运动特征的几何令牌来分解几何与运动信息。利用历史只需查询神经场景模型即可。随着序列推进，神经场景模型动态形变以对齐新观测，在有效提供历史上下文的同时以新观测更新自身。通过采用令牌表示，NSM4D 还对低层传感器噪声具有鲁棒性，并通过几何采样方案保持紧凑规模。我们将 NSM4D 与最先进的 4D 感知骨干网络集成，在室内外设置的多种在线感知基准上展示了显著改进。值得注意的是，我们在 HOI4D 在线动作分割上实现了 9.6% 的准确率提升，在 SemanticKITTI 在线语义分割上实现了 3.4% 的 mIoU 提升。此外，我们表明 NSM4D 天然具备对超出训练集的更长序列的优秀可扩展性，这对实际应用至关重要。
引用
@article{arxiv.2310.08326,
title = {NSM4D: Neural Scene Model Based Online 4D Point Cloud Sequence Understanding},
author = {Yuhao Dong and Zhuoyang Zhang and Yunze Liu and Li Yi},
journal= {arXiv preprint arXiv:2310.08326},
year = {2023}
}