RandomRooms：基于合成形状与随机布局的无监督预训练用于三维目标检测
计算机视觉与模式识别
2021-08-18 v1 人工智能
机器学习
摘要
近年来，三维点云理解取得了巨大进展。然而，一个主要瓶颈是带标注真实数据集的稀缺，尤其是与二维目标检测任务相比，因为标注场景的真实扫描需要大量人工劳动。一个有前景的解决方案是更好地利用由CAD物体模型组成的合成数据集，以提升在真实数据集上的学习。这可以通过预训练与微调流程实现。然而，近期关于三维预训练的工作在将合成物体上学习到的特征迁移到其他真实世界应用时表现出失效。在本工作中，我们提出一种称为RandomRooms的新方法来达成此目标。具体而言，我们提议利用合成CAD数据集中的物体生成场景的随机布局，并通过在同一组合成物体生成的两个随机场景上应用物体级对比学习来学习三维场景表示。以这种方式预训练的模型在后续微调到三维目标检测任务时可作为更好的初始化。经验上，我们在多个基模型上的下游三维检测任务中展示了持续的提升，尤其是在使用较少训练数据时，这有力证明了我们方法的有效性与泛化能力。受益于合成数据中丰富的语义知识与多样化物体，我们的方法在广泛使用的三维检测基准ScanNetV2和SUN RGB-D上确立了新的SOTA。我们期望我们的尝试为桥接物体级与场景级三维理解提供新视角。
引用
@article{arxiv.2108.07794,
title = {RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection},
author = {Yongming Rao and Benlin Liu and Yi Wei and Jiwen Lu and Cho-Jui Hsieh and Jie Zhou},
journal= {arXiv preprint arXiv:2108.07794},
year = {2021}
}
备注
Accepted to ICCV 2021