DI-V2X：学习用于车辆-基础设施协同3D目标检测的域不变表示
计算机视觉与模式识别
2023-12-27 v1 人工智能
摘要
车联万物（V2X）协同感知最近因其通过整合来自各种智能体（例如车辆和基础设施）的信息来增强场景理解的能力而受到显著关注。然而，当前的工作通常平等对待每个智能体的信息，忽略了由于每个智能体使用不同的LiDAR传感器而导致的固有域差距，从而导致次优性能。在本文中，我们提出了DI-V2X，旨在通过一种新的蒸馏框架学习域不变表示，以减轻V2X 3D目标检测中的域差异。DI-V2X包含三个基本组件：域混合实例增强（DMA）模块、渐进式域不变蒸馏（PDD）模块和域自适应融合（DAF）模块。具体来说，DMA在训练期间为教师和学生模型构建了一个域混合3D实例库，从而产生对齐的数据表示。接下来，PDD鼓励来自不同领域的学生模型逐渐学习朝向教师的域不变特征表示，其中智能体之间的重叠区域被用作指导以促进蒸馏过程。此外，DAF通过结合校准感知的域自适应注意力来缩小学生之间的域差距。在具有挑战性的DAIR-V2X和V2XSet基准数据集上的大量实验表明，DI-V2X取得了显著性能，优于所有先前的V2X模型。代码可在https://github.com/Serenos/DI-V2X获取。
引用
@article{arxiv.2312.15742,
title = {DI-V2X: Learning Domain-Invariant Representation for Vehicle-Infrastructure Collaborative 3D Object Detection},
author = {Li Xiang and Junbo Yin and Wei Li and Cheng-Zhong Xu and Ruigang Yang and Jianbing Shen},
journal= {arXiv preprint arXiv:2312.15742},
year = {2023}
}
备注
aaai2024