Omni3D:面向真实场景的 3D 目标检测大型基准与模型
计算机视觉与模式识别
2023-03-27 v2
摘要
从单张图像中在 3D 下识别场景与物体是计算机视觉的 longstanding 目标,在机器人与 AR/VR 中有应用。对于 2D 识别,大型数据集与可扩展方案带来了前所未有的进展。在 3D 中,现有基准规模小,且方法专用于少数物体类别与特定领域,例如城市驾驶场景。受 2D 识别成功启发,我们重新审视 3D 目标检测任务,引入一个名为 Omni3D 的大型基准。Omni3D 重新利用并组合现有数据集,得到 234k 张图像,标注超过 300 万实例与 98 个类别。如此规模的 3D 检测因相机内参变化及场景与物体类型的丰富多样性而具挑战性。我们提出一个名为 Cube R-CNN 的模型,旨在通过统一方法跨相机与场景类型泛化。我们表明 Cube R-CNN 在更大的 Omni3D 及现有基准上均优于先前工作。最后,我们证明 Omni3D 是强大的 3D 物体识别数据集,并表明其提升单数据集性能,且可通过预训练加速在新更小数据集上的学习。
引用
@article{arxiv.2207.10660,
title = {Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild},
author = {Garrick Brazil and Abhinav Kumar and Julian Straub and Nikhila Ravi and Justin Johnson and Georgia Gkioxari},
journal= {arXiv preprint arXiv:2207.10660},
year = {2023}
}
备注
CVPR 2023, Project website: https://omni3d.garrickbrazil.com/