通过着色预训练基于LiDAR的3D目标检测器
计算机视觉与模式识别
2024-02-27 v2 机器学习
摘要
自动驾驶汽车精确的3D目标检测与理解严重依赖LiDAR点云，需要大量标注数据来训练。在本工作中，我们引入一种创新的预训练方法——接地点点云着色（GPC），通过教导模型对LiDAR点云进行着色来弥合数据与标签之间的鸿沟，为其配备有价值的语义线索。为应对由颜色差异与选择偏差带来的挑战，我们在着色过程中以提供真实颜色作为提示的方式将颜色作为“上下文”纳入。在KITTI和Waymo数据集上的实验结果展示了GPC的显著有效性。即便标注数据有限，GPC也大幅提升了微调性能；值得注意的是，仅在20%的KITTI数据集上，GPC便优于使用全部数据集从头训练。总之，我们为3D目标检测预训练引入了新视角，使目标与模型预期角色相对齐，并最终提升了自动驾驶车辆3D目标检测的精度与效率。
引用
@article{arxiv.2310.14592,
title = {Pre-Training LiDAR-Based 3D Object Detectors Through Colorization},
author = {Tai-Yu Pan and Chenyang Ma and Tianle Chen and Cheng Perng Phoo and Katie Z Luo and Yurong You and Mark Campbell and Kilian Q. Weinberger and Bharath Hariharan and Wei-Lun Chao},
journal= {arXiv preprint arXiv:2310.14592},
year = {2024}
}
备注
Accepted to ICLR 2024