DORT：以循环方式建模动态物体用于多相机三维目标检测与跟踪
计算机视觉与模式识别
2023-04-20 v2
摘要
近期的多相机三维目标检测器通常利用时序信息构建多视角立体视觉，以缓解深度估计的不适定问题。然而，它们通常假设所有物体均为静态并直接跨帧聚合特征。本文通过理论与实证分析揭示，忽略运动物体的运动会导致严重的定位偏差。因此，我们提出在循环中对动态物体建模（DORT）来解决该问题。与以往全局鸟瞰图（BEV）方法不同，DORT提取物体级局部体素用于运动估计，同时也减轻了沉重的计算负担。通过迭代细化估计的物体运动与位置，可将先前帧的特征精确聚合至当前帧，从而缓解上述不利影响。该简洁框架具有两个显著优点：灵活且实用，可插入大多数基于相机的三维目标检测器中；由于循环中存在物体运动的预测，可根据最近中心距离轻松实现跨帧物体跟踪。无需额外技巧，DORT在nuScenes检测与跟踪基准上分别以62.5% NDS和57.6% AMOTA优于以往所有方法。源代码将公开发布。
引用
@article{arxiv.2303.16628,
title = {DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking},
author = {Qing Lian and Tai Wang and Dahua Lin and Jiangmiao Pang},
journal= {arXiv preprint arXiv:2303.16628},
year = {2023}
}