R2H：构建能响应求助请求的多模态导航助手
计算与语言
2023-10-18 v2
摘要
智能导航助手代理至关重要，因为它们可以通过环境感知与对话能力在未知区域为用户导航，并可作为残障人士的潜在辅助工具。在本工作中，我们首先引入一个新的基准——响应求助请求（R2H），以推动能够响应求助请求的多模态导航助手的发展，该基准利用了现有的基于对话的具身数据集。R2H主要包括两项任务：（1）响应对话历史（RDH），评估助手代理基于给定对话历史生成信息丰富回复的能力；（2）交互中响应（RdI），评估在与任务执行者持续协作过程中响应的有效性与效率。此外，我们探索了两种构建导航助手代理的方法，包括微调一个可“看见并回应”的新型任务导向多模态回复生成模型（命名为 SeeRee），以及以零样本方式使用多模态大语言模型。基于自动基准测试与人工评估对任务和方法进行了分析。项目网站：https://sites.google.com/view/response2helprequests/home。
引用
@article{arxiv.2305.14260,
title = {R2H: Building Multimodal Navigation Helpers that Respond to Help Requests},
author = {Yue Fan and Jing Gu and Kaizhi Zheng and Xin Eric Wang},
journal= {arXiv preprint arXiv:2305.14260},
year = {2023}
}
备注
EMNLP 2023