面向具身人工智能的连续场景表示
计算机视觉与模式识别
2022-04-01 v1 人工智能
机器学习
机器人学
摘要
我们提出连续场景表示（CSR），这是一种由在空间内导航的具身智能体构建的场景表示，其中物体及其关系由连续值嵌入建模。我们的方法捕捉物体之间的特征关系，实时将其组合为图结构，并将具身智能体置于该表示之中。我们的核心见解是将物体之间的成对关系嵌入到潜空间中。与常用于构建场景表示的离散关系（例如 [support]、[next-to]）相比，这允许更丰富的表示。CSR 能够在智能体于场景中移动时跟踪物体，相应地更新表示，并检测房间配置的变化。利用 CSR，我们在具有挑战性的下游任务——视觉房间重排中优于最先进的方法，且无需任何任务特定训练。此外，我们展示了学习到的嵌入捕捉了场景的显著空间细节，并显示出对真实世界数据的适用性。总结视频与代码可在 https://prior.allenai.org/projects/csr 获取。
引用
@article{arxiv.2203.17251,
title = {Continuous Scene Representations for Embodied AI},
author = {Samir Yitzhak Gadre and Kiana Ehsani and Shuran Song and Roozbeh Mottaghi},
journal= {arXiv preprint arXiv:2203.17251},
year = {2022}
}
备注
CVPR 2022