3D-VField：用于三维目标检测域泛化的点云对抗式增强
计算机视觉与模式识别
2023-08-31 v2 机器学习
机器人学
摘要
由于基于点云的三维目标检测依赖于点之间的几何关系，非标准物体形状会阻碍方法的检测能力。然而，在安全攸关的场景中，对分布外和长尾样本的鲁棒性对于规避危险问题（例如受损或稀有车辆的漏检）至关重要。在本工作中，我们通过在训练过程中对点云进行形变，大幅提升了三维目标检测器对分布外数据的泛化能力。我们通过 3D-VField 实现这一点：一种新颖的数据增强方法，通过以对抗方式学习的向量场对物体进行合理形变。我们的方法约束三维点沿其传感器视线射线滑动，同时既不增加也不移除任何点。所获得的向量具有可迁移性、与样本无关，并能保持形状与遮挡关系。尽管仅在如 KITTI 这样的标准数据集上训练，使用我们的向量场进行增强显著改善了对不同形状物体与场景的泛化能力。为此，我们提出并共享了 CrashD：一个包含多种碰撞场景的逼真受损及稀有车辆合成数据集。在 KITTI、Waymo、我们的 CrashD 以及 SUN RGB-D 上的大量实验表明，我们的技术对分布外数据、不同模型与传感器（即 LiDAR 与 ToF 相机）在室内外场景下的泛化能力。我们的 CrashD 数据集可在 https://crashd-cars.github.io 获取。
引用
@article{arxiv.2112.04764,
title = {3D-VField: Adversarial Augmentation of Point Clouds for Domain Generalization in 3D Object Detection},
author = {Alexander Lehner and Stefano Gasperini and Alvaro Marcos-Ramiro and Michael Schmidt and Mohammad-Ali Nikouei Mahani and Nassir Navab and Benjamin Busam and Federico Tombari},
journal= {arXiv preprint arXiv:2112.04764},
year = {2023}
}
备注
CVPR 2022. Project page: https://3d-vfield.github.io