艺术画廊中的具身导航

具身智能体经训练以探索并在室内照片级真实环境中导航，已在标准数据集和基准上取得令人印象深刻的成果。迄今为止，实验与评估涉及的都是家庭和办公类场景，如办公室、公寓和房屋。本文中，我们构建并发布了一个具有独特特征的新 3D 空间：一个完整的艺术博物馆。我们将此环境命名为 ArtGallery3D (AG3D)。与现有 3D 场景相比，所采集的空间更宽敞、视觉特征更丰富，且提供的占据信息非常稀疏。这一特征对基于占据信息的智能体构成挑战，因为它们通常在具有大量占据信息的拥挤家庭环境中训练。此外，我们标注了博物馆内主要兴趣点（如画作、雕像及其他物品）的坐标。得益于这一人工处理，我们提供了一个用于该新空间内 PointGoal 导航的新基准。该数据集中的轨迹比 Gibson 和 Matterport3D 中现有的导航真值路径复杂且漫长得多。我们使用新空间进行评估并开展了广泛的实验评估，证明现有方法几乎无法适应此场景。因此，我们相信该 3D 模型的可用性将促进未来研究并有助于改进现有方案。