DeepInteraction：通过模态交互进行三维目标检测
计算机视觉与模式识别
2022-12-09 v4
摘要
现有性能最优的三维目标检测器通常依赖多模态融合策略。然而该设计因忽视各模态特有有用信息而受到根本限制，最终制约模型性能。为克服此局限，本文提出一种新颖的模态交互策略，其中各模态独立表征被全程学习并维持，以使其在目标检测中得以利用自身独特特性。为实现该策略，我们设计了以多模态表征交互编码器与多模态预测交互解码器为特征的 DeepInteraction 架构。在大规模 nuScenes 数据集上的实验表明，我们所提方法常以大幅优势超越所有先前方法。关键的是，我们的方法在竞争激烈的 nuScenes 目标检测排行榜上位居第一。
引用
@article{arxiv.2208.11112,
title = {DeepInteraction: 3D Object Detection via Modality Interaction},
author = {Zeyu Yang and Jiaqi Chen and Zhenwei Miao and Wei Li and Xiatian Zhu and Li Zhang},
journal= {arXiv preprint arXiv:2208.11112},
year = {2022}
}
备注
To appear at NeurIPS 2022. 16 pages, 7 figure