DOROTHIE：用于交互式自动驾驶智能体处理意外情况的口语对话
人工智能
2022-10-25 v1 计算与语言
计算机视觉与模式识别
机器人学
摘要
在现实世界中，自动驾驶智能体在充满意外情况的高度动态环境中导航，其中预训练模型不可靠。在这些情况下，车辆立即可用的往往只有人类操作员。赋予自动驾驶智能体在连续动态环境中导航并通过基于感知运动基础的对话与人类交流的能力变得至关重要。为此，我们引入了DOROTHIE(路上处理不规则事件的对话)，一个新颖的交互式仿真平台，能够即时创建意外情况，以支持对自动驾驶智能体情境化通信的实证研究。基于该平台，我们创建了情境对话导航(SDN)，一个包含183次试验、共计8415条话语、约18.7小时控制流与2.9小时裁剪音频的导航基准。SDN用于评估智能体从人类预测对话行为以及生成自身对话行为与物理导航动作的能力。我们进一步为这些SDN任务开发了一个基于transformer的基线模型。我们的实证结果表明，在高度动态环境中语言引导的导航对端到端模型是极其困难的任务。这些结果将为未来关于鲁棒自动驾驶智能体的工作提供洞见。DOROTHIE平台、SDN基准与基线模型代码可在 https://github.com/sled-group/DOROTHIE 获取。
引用
@article{arxiv.2210.12511,
title = {DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in Interactive Autonomous Driving Agents},
author = {Ziqiao Ma and Ben VanDerPloeg and Cristian-Paul Bara and Huang Yidong and Eui-In Kim and Felix Gervits and Matthew Marge and Joyce Chai},
journal= {arXiv preprint arXiv:2210.12511},
year = {2022}
}
备注
Findings of EMNLP, 2022