TASeg：用于 LiDAR 语义分割的时间聚合网络
摘要
为 LiDAR 语义分割训练深度模型具有挑战性，因为点云本征稀疏。利用时间数据是解决稀疏问题的自然方法，因为它使输入信号更密集。然而，之前的多帧融合算法由于内存限制未能充分利用足够的temporal信息，也忽略了信息丰富的temporal图像。为充分利用隐藏在长期temporal点云和图像中的丰富信息，我们提出了Temporal Aggregation Network，称为 TASeg。具体而言，我们提出了Temporal LiDAR Aggregation and Distillation (TLAD) 算法，该算法利用历史先验为不同类别分配不同的聚合步骤。它可以在大大降低内存和计算时间开销的同时实现更高精度。此外，TLAD 训练一个注入 gt 先验的教师模型进行知识蒸馏，以进一步提升性能。为充分利用temporal图像，我们设计了Temporal Image Aggregation and Fusion (TIAF) 模块，该模块可大大扩展相机视场范围并增强当前特征。LiDAR 点云在相机视场内用作媒介，将temporal图像特征变换到当前坐标，以实现temporal 多模态融合。此外，我们开发了Static-Moving Switch Augmentation (SMSA) 算法，该算法利用充足的temporal信息使对象能够自由切换运动状态，从而大大增加静态和移动训练样本。我们的 TASeg 在三个具有挑战性的轨道上名列前茅，即 SemanticKITTI 单扫描轨道、multi-scan 轨道和 nuScenes LiDAR 语义分割轨道，强有力地证明了我们方法的优越性。代码已公开 https://github.com/LittlePey/TASeg。
引用
@article{arxiv.2407.09751,
title = {TASeg: Temporal Aggregation Network for LiDAR Semantic Segmentation},
author = {Xiaopei Wu and Yuenan Hou and Xiaoshui Huang and Binbin Lin and Tong He and Xinge Zhu and Yuexin Ma and Boxi Wu and Haifeng Liu and Deng Cai and Wanli Ouyang},
journal= {arXiv preprint arXiv:2407.09751},
year = {2024}
}
备注
Accepted by CVPR 2024