多模态人机协作中的成功导航：分析与语料库发布
人机交互
2023-10-27 v1 计算与语言
机器人学
摘要
人类引导的机器人探索是在偏远地点收集信息的有用方法，尤其是那些对人类而言过于危险、恶劣或无法到达的地点。维持远程伙伴间的共同基础是一项挑战，而多模态通信可对此提供便利。在本文中，我们探究参与者如何利用多种模态在机器人伙伴的帮助下调查一个偏远地点。参与者发出口语自然语言指令，并从机器人接收：基于文本的反馈、连续的 2D LIDAR 地图，以及按需的静态照片。我们注意到在模态使用上采用了不同策略，并假设这些差异可能与若干探索子任务上的成功相关。我们发现请求照片可能改进了对某些关键实体（特别是门道）的识别与计数，且该策略并未阻碍整体区域探索的量。未来基于更大样本的工作可能揭示更细微的照片与对话策略的影响，从而可为机器人智能体的训练提供信息。此外，我们宣布发布我们在探索语境下独特的多模态人机通信语料库：SCOUT，即情境化理解交互语料库（Situated Corpus on Understanding Transactions）。
引用
@article{arxiv.2310.17568,
title = {Navigating to Success in Multi-Modal Human-Robot Collaboration: Analysis and Corpus Release},
author = {Stephanie M. Lukin and Kimberly A. Pollard and Claire Bonial and Taylor Hudson and Ron Arstein and Clare Voss and David Traum},
journal= {arXiv preprint arXiv:2310.17568},
year = {2023}
}
备注
7 pages, 3 figures