用于 3D 语义分割的金字塔融合网络深度传感器融合
计算机视觉与模式识别
2022-05-30 v1 人工智能
机器人学
摘要
自动驾驶车辆的稳健环境感知是一项巨大挑战，这使得配备多样化传感器组（如相机、激光雷达和雷达）至关重要。在理解所记录传感器数据的过程中，3D 语义分割发挥着重要作用。因此，本工作提出一种基于金字塔的激光雷达与相机深度融合架构，以改进交通场景的 3D 语义分割。独立的传感器骨干网络提取相机图像与激光雷达点云的特征图。一种新颖的金字塔融合骨干网络在不同尺度上融合这些特征图，并将多模态特征组合于特征金字塔中以计算有价值的多模态、多尺度特征。金字塔融合头聚合这些金字塔特征，并在后期融合步骤中结合传感器骨干网络的最终特征进一步精炼。该方法在两个具挑战性的室外数据集上进行了评估，并研究了不同的融合策略与设置。它优于近期基于距离视图的激光雷达方法以及迄今提出的所有融合策略与架构。
引用
@article{arxiv.2205.13629,
title = {Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation},
author = {Hannah Schieber and Fabian Duerr and Torsten Schoen and Jürgen Beyerer},
journal= {arXiv preprint arXiv:2205.13629},
year = {2022}
}
备注
conditionally accepted at IEEE IV 2022, 7 pages, 4 figures, 5 tables