基于场景补全学习上下文形状先验的稀疏单帧 LiDAR 点云分割
计算机视觉与模式识别
2020-12-08 v1
摘要
LiDAR 点云分析是三维计算机视觉的核心任务，尤其对于自动驾驶而言。然而，由于单帧 LiDAR 点云中严重的稀疏性和噪声干扰，实现准确的语义分割并非易事。在本文中，我们提出了一种由学习到的上下文形状先验辅助的新型稀疏 LiDAR 点云语义分割框架。实际上，单帧点云的初始语义分割（SS）可由任意优良的网络实现，然后作为语义场景补全（SSC）模块的输入流入该模块。通过将 LiDAR 序列中的多帧合并作为监督，优化后的 SSC 模块已从序列 LiDAR 数据中学习到上下文形状先验，将稀疏的单帧点云补全为稠密点云。因此，它通过完全端到端训练内在地改进了 SS 优化。此外，提出了一种点-体素交互（PVI）模块来进一步增强 SS 与 SSC 任务之间的知识融合，即促进点云不完整局部几何与完整体素级全局结构的交互。此外，辅助的 SSC 和 PVI 模块在推理时可被丢弃，不给 SS 带来额外负担。大量实验证实，我们的 JS3C-Net 在 SemanticKITTI 和 SemanticPOSS 基准上均取得了优越性能，即分别提升了 4% 和 3%。
引用
@article{arxiv.2012.03762,
title = {Sparse Single Sweep LiDAR Point Cloud Segmentation via Learning Contextual Shape Priors from Scene Completion},
author = {Xu Yan and Jiantao Gao and Jie Li and Ruimao Zhang and Zhen Li and Rui Huang and Shuguang Cui},
journal= {arXiv preprint arXiv:2012.03762},
year = {2020}
}
备注
To appear in AAAI 2021. Codes are available at https://github.com/yanx27/JS3C-Net