边走边谈：基于具身对话的纽约市导航
人工智能
2018-12-27 v3 计算与语言
计算机视觉与模式识别
机器学习
摘要
我们推出了“Talk The Walk”，这是首个基于动作与感知的大规模对话数据集。该任务涉及两个智能体（“向导”与“游客”）通过自然语言进行通信，以达成共同目标：让游客导航至给定目标位置。我们对该任务及数据集进行了详细描述，它们具有挑战性，其完整解决方案是我们向学界提出的开放问题。我们（i）聚焦于游客定位任务，并提出了新颖的掩码注意力空间卷积（MASC）机制，该机制可将游客话语锚定到向导的地图中；（ii）表明其在涌现式与自然语言通信中均带来显著改进；（iii）利用该方法，我们在完整任务上建立了非平凡的基线。
引用
@article{arxiv.1807.03367,
title = {Talk the Walk: Navigating New York City through Grounded Dialogue},
author = {Harm de Vries and Kurt Shuster and Dhruv Batra and Devi Parikh and Jason Weston and Douwe Kiela},
journal= {arXiv preprint arXiv:1807.03367},
year = {2018}
}