ST3D++:面向三维目标检测无监督域自适应的去噪自训练方法
计算机视觉与模式识别
2021-08-21 v1 人工智能
摘要
本文提出一种名为ST3D++的自训练方法,其具备整体的伪标签去噪流程,用于三维目标检测的无监督域自适应。ST3D++旨在减少伪标签生成中的噪声,并缓解带噪伪标签对模型训练的负面影响。首先,ST3D++在带标签的源域上通过随机物体缩放(ROS)预训练三维目标检测器,ROS用于减少由源域物体尺度偏差引起的目标域伪标签噪声。随后,通过交替生成伪标签和利用伪标签目标域数据训练目标检测器,逐步改进检测器。在此,我们为伪标签生成过程配备混合质量感知三元组记忆,以提升生成伪标签的质量与稳定性。同时,在模型训练阶段,我们提出源数据辅助训练策略和课程数据增强策略,以有效纠正带噪梯度方向并避免模型过拟合于带噪伪标签数据。这些特定设计使检测器能够在经精细修正的伪标签目标数据上以去噪训练信号进行训练,从而有效促进目标检测器在无标注情况下适应目标域。最后,我们的方法在四个三维基准数据集(即Waymo、KITTI、Lyft和nuScenes)上针对三个常见类别(即汽车、行人和自行车)进行评估。ST3D++在所有评估设定下均达到最优性能,大幅超越相应基线(例如,在Waymo→KITTI上按AP计为9.6% 38.16%),甚至在具备目标先验的KITTI三维目标检测基准上超越全监督oracle结果。代码将公开。
引用
@article{arxiv.2108.06682,
title = {ST3D++: Denoised Self-training for Unsupervised Domain Adaptation on 3D Object Detection},
author = {Jihan Yang and Shaoshuai Shi and Zhe Wang and Hongsheng Li and Xiaojuan Qi},
journal= {arXiv preprint arXiv:2108.06682},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2103.05346