PathFusion：路径一致的激光雷达-相机深度特征融合
计算机视觉与模式识别
2024-01-17 v3
摘要
由于激光雷达与相机具有互补的物理特性，将三维激光雷达特征与二维相机特征相融合是提升三维检测精度的一项有前景的技术。现有多数方法侧重于直接将相机特征与原始激光雷达点云或浅层三维特征融合，但观察到在更深层中直接结合二维与三维特征会因特征错位而导致精度下降。该错位源于从大感受野学习到的特征的聚合，并随着网络层加深而愈发严重。本文提出 PathFusion 作为实现语义一致的激光雷达-相机深度特征对齐融合的方案。PathFusion 在网络内的多个阶段引入路径一致性损失，促使二维骨干网络及其融合路径以与三维骨干网络变换在语义上对齐的方式变换二维特征。这保证了即便在更深层中二维与三维特征间的语义一致性，并增强了网络学习能力的利用。我们将 PathFusion 应用于改进先前的最优融合基线 Focals Conv，并在 nuScenes 测试集上观察到无论是否使用测试时数据增强，mAP 均稳定提升超过 1.6%；此外，PathFusion 在 KITTI (R11) 中等难度级别上也提升了约 0.6%。
引用
@article{arxiv.2212.06244,
title = {PathFusion: Path-consistent Lidar-Camera Deep Feature Fusion},
author = {Lemeng Wu and Dilin Wang and Meng Li and Yunyang Xiong and Raghuraman Krishnamoorthi and Qiang Liu and Vikas Chandra},
journal= {arXiv preprint arXiv:2212.06244},
year = {2024}
}