DialFRED：面向具身指令跟随的对话赋能智能体
人工智能
2022-08-17 v2 机器人学
摘要
语言引导的具身 AI 基准要求智能体在环境中导航并操纵物体，通常只允许单向通信：人类用户向智能体发出自然语言指令，而智能体只能被动遵循指令。我们提出 DialFRED，一个基于 ALFRED 基准的对话赋能具身指令跟随基准。DialFRED 允许智能体主动向人类用户提问；用户回复中的附加信息被智能体用于更好地完成任务。我们发布了一个带有人工标注的数据集，包含 53K 个任务相关问题与答案，以及一个用于回答问题的 oracle。为解决 DialFRED，我们提出一个提问者-执行者框架，其中提问者使用人工标注数据预训练并以强化学习微调。我们公开提供 DialFRED，并鼓励研究者提出并评估其构建对话赋能具身智能体的方案。
引用
@article{arxiv.2202.13330,
title = {DialFRED: Dialogue-Enabled Agents for Embodied Instruction Following},
author = {Xiaofeng Gao and Qiaozi Gao and Ran Gong and Kaixiang Lin and Govind Thattai and Gaurav S. Sukhatme},
journal= {arXiv preprint arXiv:2202.13330},
year = {2022}
}
备注
8 pages, 5 figures, accepted by RA-L