RepVF:用于多任务3D感知的统一向量场表示
计算机视觉与模式识别
2024-07-23 v2
摘要
在相同的时空场景中并行处理多个自动驾驶3D感知任务具有显著挑战,特别是由于传统多任务学习方法在计算效率和特征竞争方面存在问题。为解决这些问题,本文提出一种新型统一表示方法RepVF,将各种感知任务(如3D目标检测和3D车道检测)在单个框架中进行统一调和。RepVF通过向量场来描述场景中不同目标的结构,使能够实现单头、多任务学习模型,从而显著减少计算冗余和特征竞争。基于RepVF,我们引入了RFTR(Relative Feature Transformer),该网络利用一级查询的层次结构来隐式建模不同任务之间以及单个任务内的关系。该方法消除了任务特定的头部和参数的需求,从根本上减少了传统多任务学习范式中固有的冲突。我们通过将OpenLane数据集与Waymo Open数据集的标签进行组合来验证了该方法。我们的工作在自动驾驶中多任务感知的效率和有效性方面取得了显著进展,为处理多个3D感知任务的同步与并行提供了新的视角。代码将在:https://github.com/jbji/RepVF 上提供。
引用
@article{arxiv.2407.10876,
title = {RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception},
author = {Chunliang Li and Wencheng Han and Junbo Yin and Sanyuan Zhao and Jianbing Shen},
journal= {arXiv preprint arXiv:2407.10876},
year = {2024}
}
备注
Accepted by ECCV 2024