OmniNOCS：用于2D对象3D升数的统一NOCS数据集和模型
计算机视觉与模式识别
2024-07-12 v1 机器人学
摘要
我们提出了OmniNOCS，一个大规模单目数据集，包含3D归一化物体坐标空间(NOCS)图、物体掩码和3D边界框标注，覆盖室内外场景。OmniNOCS的物体类别数是现有NOCS数据集(NOCS-Real275、Wild6D)的20倍，实例数是200倍。我们使用OmniNOCS训练了一种新型基于transformer的单目NOCS预测模型(NoCSformer），该模型可从2D目标检测中跨类别预测准确的NOCS、实例掩码和姿态。这是第一个能够在提示2D边界框的情况下对广泛类别进行泛化的NOCS模型。我们在3D姿态边界框预测任务上评估了该模型，结果与Cube R-CNN等最先进3D检测方法相当。与其他3D检测方法不同，我们的模型还提供详细且准确的3D物体形状和分割。我们基于OmniNOCS提出了NOCS预测的新基准测试，期望为该领域的后续工作提供有用基线。本数据集和代码将部署于项目网站：https://omninocs.github.io。
关键词
引用
@article{arxiv.2407.08711,
title = {OmniNOCS: A unified NOCS dataset and model for 3D lifting of 2D objects},
author = {Akshay Krishnan and Abhijit Kundu and Kevis-Kokitsi Maninis and James Hays and Matthew Brown},
journal= {arXiv preprint arXiv:2407.08711},
year = {2024}
}
备注
Accepted to ECCV 2024, project website: https://omninocs.github.io