面向车载相机驾驶场景的 3D 数据增强
计算机视觉与模式识别
2023-03-21 v1
摘要
驾驶场景极其多样且复杂，仅凭人力无法收集所有情况。虽然数据增强是丰富训练数据的有效技术，但自动驾驶应用中针对相机数据的现有方法局限于 2D 图像平面，可能无法在 3D 真实世界场景中最优地增加数据多样性。为此，我们提出了一种称为 Drive-3DAug 的 3D 数据增强方法，旨在 3D 空间中对相机驾驶场景进行增强。我们首先利用神经辐射场 (NeRF) 重建背景与前景物体的 3D 模型。然后，通过将 3D 物体以调整后的位置和朝向放置于背景的预定义有效区域，可获得增强的驾驶场景。如此，训练数据库可得以有效扩充。然而，3D 物体建模受限于图像质量与有限视角。为克服这些问题，我们修改了原始 NeRF，引入了几何校正损失与对称感知训练策略。我们在 Waymo 和 nuScenes 数据集上评估了我们的方法在仅相机单目 3D 检测任务上的表现。所提出的数据增强方法在 Waymo 和 nuScenes 上分别带来了 1.7% 和 1.4% 的检测精度提升。此外，所构建的 3D 模型可作为数字驾驶资产，并可复用于不同检测器或其他 3D 感知任务。
引用
@article{arxiv.2303.10340,
title = {3D Data Augmentation for Driving Scenes on Camera},
author = {Wenwen Tong and Jiangwei Xie and Tianyu Li and Hanming Deng and Xiangwei Geng and Ruoyi Zhou and Dingchen Yang and Bo Dai and Lewei Lu and Hongyang Li},
journal= {arXiv preprint arXiv:2303.10340},
year = {2023}
}