Habitat-Matterport 3D 数据集（HM3D）：面向具身 AI 的 1000 个大规模 3D 环境
计算机视觉与模式识别
2021-09-20 v1 人工智能
摘要
我们提出 Habitat-Matterport 3D（HM3D）数据集。HM3D 是一个包含来自多样化真实世界地点、1000 个建筑尺度 3D 重建的大规模数据集。数据集中每个场景由室内空间（如多层住宅、商店及其他私人室内场所）的带纹理 3D 网格重建组成。HM3D 在物理尺度、重建完整性与视觉保真度方面超越了现有可供学术研究的数据集。HM3D 包含 112.5k m^2 的可导航空间，比 MP3D 和 Gibson 等其他建筑尺度数据集大 1.4–3.7 倍。与 Replica、MP3D、Gibson 和 ScanNet 等现有照片级真实 3D 数据集相比，从 HM3D 渲染的图像相对于真实相机拍摄的对应图像具有高出 20%–85% 的视觉保真度，且 HM3D 网格因表面重建不完整导致的伪影少 34%–91%。HM3D 在尺度、保真度与多样性上的提升直接影响使用其训练的具身 AI 智能体的性能。事实上，我们发现 HM3D 在如下意义上是“帕累托最优”的——在其上训练以执行 PointGoal 导航的智能体无论在被 HM3D、Gibson 还是 MP3D 评估时均取得最高性能。关于在其他数据集上训练则无法做出类似断言。在 HM3D 上训练的 PointNav 智能体在 Gibson-test 数据集上达到 100% 性能，表明或许是时候退役该回合数据集了。
引用
@article{arxiv.2109.08238,
title = {Habitat-Matterport 3D Dataset (HM3D): 1000 Large-scale 3D Environments for Embodied AI},
author = {Santhosh K. Ramakrishnan and Aaron Gokaslan and Erik Wijmans and Oleksandr Maksymets and Alex Clegg and John Turner and Eric Undersander and Wojciech Galuba and Andrew Westbury and Angel X. Chang and Manolis Savva and Yili Zhao and Dhruv Batra},
journal= {arXiv preprint arXiv:2109.08238},
year = {2021}
}
备注
21 pages, 14 figures