用于多视角三维目标检测的像素对齐循环查询
计算机视觉与模式识别
2023-10-03 v1
摘要
我们提出 PARQ——一种基于 transformer 与像素对齐循环查询的多视角三维目标检测器。与以往在解码器中使用可学习特征或仅将三维点位置编码为查询的工作不同，PARQ 利用从三维空间参考点初始化的外观增强查询，并通过循环交叉注意力操作更新其三维位置。引入像素对齐特征与交叉注意力使模型能够编码必要的三维到二维对应关系，并捕获输入图像的全局上下文信息。PARQ 在 ScanNet 和 ARKitScenes 数据集上优于先前的最佳方法，学习与检测速度更快，对参考点的分布偏移更具鲁棒性，可在无需重新训练的情况下利用额外输入视角，并可通过改变循环迭代次数来调整推理计算量。
引用
@article{arxiv.2310.01401,
title = {Pixel-Aligned Recurrent Queries for Multi-View 3D Object Detection},
author = {Yiming Xie and Huaizu Jiang and Georgia Gkioxari and Julian Straub},
journal= {arXiv preprint arXiv:2310.01401},
year = {2023}
}
备注
ICCV 2023. Project page: https://ymingxie.github.io/parq