基于实例级对比蒸馏的高效多模态3D目标检测器
计算机视觉与模式识别
2025-03-18 v1
摘要
多模态3D目标检测器利用几何感知的LiDAR点云和语义丰富的RGB图像的优势，以提升检测性能。然而，这些模态之间的内在异质性，包括收敛不平衡和模态错位，构成了重要挑战。此外，检测导向特征的大尺寸也限制了现有融合策略捕捉3D检测任务中长程依赖。本文引入一种快速且有效的多模态3D目标检测器，集成我们提出的实例级对比蒸馏（ICD）框架和跨线性注意力融合模块（CLFM）。ICD通过对象感知的对比蒸馈，将图像特征与LiDAR表示对齐，确保跨模态的细粒度一致性。而CLFM则提出一种高效且可扩展的融合策略，增强跨模态全局交互作用于可规模的多模态BEV特征中。在KITTI和nuScenes 3D目标检测基准测试上的大量实验表明，我们的方法具有有效性。值得注意的是，我们的3D目标检测器在实现卓越效率的同时，超过了当前最先进（SOTA）方法。本方法的实现已在https://github.com/nubot-nudt/ICD-Fusion上开源。
引用
@article{arxiv.2503.12914,
title = {Efficient Multimodal 3D Object Detector via Instance-Level Contrastive Distillation},
author = {Zhuoqun Su and Huimin Lu and Shuaifeng Jiao and Junhao Xiao and Yaonan Wang and Xieyuanli Chen},
journal= {arXiv preprint arXiv:2503.12914},
year = {2025}
}