面向杂乱场景中具身探索的场景图
机器人学
2023-10-17 v3
摘要
机器人领域长期期望具备在杂乱环境中处理物体的能力。然而，大多数工作仅关注操作，而非揭示杂乱物体中隐藏的语义信息。在本工作中，我们引入面向杂乱场景具身探索的场景图来解决这一问题。为在杂乱场景中验证我们的方法，我们采用操作问答（MQA）任务作为测试基准，该任务要求具身机器人具备主动探索能力以及对视觉与语言的语义理解能力。作为该任务的一个通用解决框架，我们提出一种模仿学习方法来生成用于探索的操作动作。同时，在我们的框架中，采用基于动态场景图的视觉问答（VQA）模型来理解来自机械臂腕部相机的一系列RGB帧，并且每步操作都用于回答问题。在不同交互需求的MQA数据集上的实验表明，我们所提出的框架对于作为杂乱场景代表性任务的MQA任务是有效的。
引用
@article{arxiv.2207.07870,
title = {Scene Graph for Embodied Exploration in Cluttered Scenario},
author = {Yuhong Deng and Qie Sima and Di Guo and Huaping Liu and Yi Wang and Fuchun Sun},
journal= {arXiv preprint arXiv:2207.07870},
year = {2023}
}