MemorySeg：基于潜在记忆的在线激光雷达语义分割
计算机视觉与模式识别
2023-11-06 v1 机器人学
摘要
激光雷达点云的语义分割近年来被广泛研究，现有方法多聚焦于利用环境单帧扫描解决该任务。然而，利用时间上的观测流可为可见性差的场景区域（如遮挡）或稀疏观测区域（如远距离）提供丰富的上下文信息，并有助于减少逐帧的冗余计算。本文中，我们应对利用过去帧信息以在线方式改进当前帧预测的难题。为此，我们提出了一种新颖的激光雷达点云时间序列语义分割框架，其利用记忆网络存储、更新和检索过去信息。我们的框架还包括一个正则化项，用于惩罚点云邻域内的预测变化。已有工作尝试在距离视图表示中引入记忆以进行语义分割，但这些方法无法处理遮挡，且随着附近智能体移动，场景的距离视图表示剧烈变化。我们提出的框架通过构建周围的稀疏 3D 潜在表示克服了这些局限。我们在 SemanticKITTI、nuScenes 和 PandaSet 上评估了我们的方法。实验证明了所提框架相较最先进方法的有效性。
引用
@article{arxiv.2311.01556,
title = {MemorySeg: Online LiDAR Semantic Segmentation with a Latent Memory},
author = {Enxu Li and Sergio Casas and Raquel Urtasun},
journal= {arXiv preprint arXiv:2311.01556},
year = {2023}
}
备注
accepted at ICCV 2023