免费获得 3D：利用高清地图的跨模态迁移学习
计算机视觉与模式识别
2020-08-25 v1 人工智能
机器学习
摘要
3D 目标检测是机器人与自动驾驶的核心感知挑战。然而，现代自动驾驶数据集中的类别分类体系明显小于许多有影响力的 2D 检测数据集。本工作中，我们通过利用现代 2D 数据集的大类别分类体系与最先进 2D 检测方法的鲁棒性来解决长尾问题。我们进而挖掘一个大规模无标注的图像与 LiDAR 数据集，并基于现成的 2D 实例分割模型为种子，估计 3D 目标包围长方体。关键的是，我们通过使用高清地图与目标尺寸先验来约束这一不适定的 2D 到 3D 映射。挖掘过程的结果是带有不同置信度的 3D 长方体。该挖掘过程本身即是一个 3D 目标检测器，尽管作为此类评估时并不特别准确。然而，我们随后在这些长方体上训练一个 3D 目标检测模型，与深度学习文献中其他近期观察一致，我们发现所得模型对我们挖掘过程提供的噪声监督相当鲁棒。我们挖掘了来自自动驾驶车辆的 1151 条无标注多模态驾驶日志，并使用发现的目标训练一个基于 LiDAR 的目标检测器。我们展示检测器性能随我们挖掘更多无标注数据而提升。使用我们完整的无标注数据集，我们的方法在有竞争力的程度上媲美全监督方法，甚至在某些目标类别上超越其性能，且无需任何人工 3D 标注。
引用
@article{arxiv.2008.10592,
title = {3D for Free: Crossmodal Transfer Learning using HD Maps},
author = {Benjamin Wilson and Zsolt Kira and James Hays},
journal= {arXiv preprint arXiv:2008.10592},
year = {2020}
}