面向连续空间中自然语言指令的取放与物体定位任务的全自动化任务管理框架：生成、执行与评估
机器人学
2023-11-09 v1 计算与语言
计算机视觉与模式识别
摘要
本文旨在开发一个框架，使机器人能够基于视觉信息，响应针对取放与物体定位（FCOG）任务的自然语言指令来执行任务。尽管已有许多框架，它们通常依赖于人工给定的指令句子，因此评估仅在固定任务上进行。此外，许多用于基准测试的多模态语言理解模型仅考虑离散动作。为应对这些局限，我们提出了一种用于FCOG任务生成、执行与评估全自动化的框架。此外，我们引入了一种将FCOG任务划分为四个不同子任务来求解的方法。
引用
@article{arxiv.2311.04260,
title = {Fully Automated Task Management for Generation, Execution, and Evaluation: A Framework for Fetch-and-Carry Tasks with Natural Language Instructions in Continuous Space},
author = {Motonari Kambara and Komei Sugiura},
journal= {arXiv preprint arXiv:2311.04260},
year = {2023}
}
备注
Accepted at presentation for CVPR 2023 Embodied AI Workshop