Uni3DETR：统一的三维检测Transformer
计算机视觉与模式识别
2023-10-10 v1
摘要
现有的基于点云的三维检测器都是针对特定场景（室内或室外）设计的。由于来自不同环境采集的点云在物体分布和点密度方面存在显著差异，加之三维度量本身的复杂性，目前仍缺乏能够适应多样场景的统一网络架构。本文提出Uni3DETR，一种在同一框架下解决室内与室外三维检测的统一三维检测器。具体而言，我们采用具有点-体素交互的检测Transformer进行物体预测，其利用体素特征与点进行交叉注意力，并对数据差异具有鲁棒性。接着，我们提出查询点混合机制，充分挖掘全局信息以适配密集小范围的室内场景，以及局部信息以适配大范围稀疏的室外场景。此外，我们提出的解耦IoU通过将xy与z空间分离，为定位提供了易于优化的训练目标。大量实验验证Uni3DETR在室内与室外三维检测上均表现出优异且一致的性能。相较于以往在特定数据集上表现良好但在不同场景大幅下降的专用检测器，Uni3DETR展现了在异构条件下的强泛化能力（图1）。代码见\href{https://github.com/zhenyuw16/Uni3DETR}{https://github.com/zhenyuw16/Uni3DETR}。
引用
@article{arxiv.2310.05699,
title = {Uni3DETR: Unified 3D Detection Transformer},
author = {Zhenyu Wang and Yali Li and Xi Chen and Hengshuang Zhao and Shengjin Wang},
journal= {arXiv preprint arXiv:2310.05699},
year = {2023}
}
备注
Accepted by NeurIPS 2023