只需增加 100 美元：增强基于 NeRF 的伪 LiDAR 点云以解决类别不平衡问题
计算机视觉与模式识别
2024-03-21 v2
摘要
典型的基于 LiDAR 的 3D 目标检测模型以监督方式使用真实世界数据采集进行训练，这些数据通常在类别上不平衡（或呈长尾分布）。为解决该问题，常通过从数据库中采样真实（GT）LiDAR 点并将其粘贴到感兴趣的场景中来增强少数类样本，但挑战依然存在：定位 GT 样本缺乏灵活性且样本多样性有限。在本工作中，我们提出利用从拍摄少数类微缩模型或真实物体环绕视图的视频中（以低成本）生成的伪 LiDAR 点云。我们的方法称为伪真实增强（PGT-Aug），包含三个主要步骤：(i) 使用 2D 到 3D 视图合成模型进行体积 3D 实例重建，(ii) 通过 LiDAR 强度估计进行物体级域对齐，以及 (iii) 基于地面和地图信息的混合上下文感知放置方法。我们在三个流行基准（即 nuScenes、KITTI 和 Lyft）上进行的大量实验中，通过性能提升证明了我们方法的优越性和通用性，尤其对于由不同 LiDAR 配置捕获的具有较大域差异的数据集。我们的代码和数据将在发表后公开。
引用
@article{arxiv.2403.11573,
title = {Just Add $100 More: Augmenting NeRF-based Pseudo-LiDAR Point Cloud for Resolving Class-imbalance Problem},
author = {Mincheol Chang and Siyeong Lee and Jinkyu Kim and Namil Kim},
journal= {arXiv preprint arXiv:2403.11573},
year = {2024}
}
备注
28 pages, 12 figures, 11 tables