跨语言视觉-语言导航
计算与语言
2020-12-08 v3 计算机视觉与模式识别
机器人学
摘要
以自然语言指令指挥机器人导航是具身语言理解与机器人学的长期目标。但据先前视觉-语言导航(VLN)研究,主导语言为英语。为超越英语并服务于说不同语言的人群,我们收集了双语 Room-to-Room (BL-R2R) 数据集,以新的中文指令扩展了原始基准。基于该新引入的数据集,我们研究智能体如何能在已有英语指令上训练,却在零样本学习场景下以另一种语言有效导航。在没有任何目标语言训练数据的情况下,即便与完全接触目标语言训练数据的模型相比,我们的模型也展现出有竞争力的结果。此外,我们考察了在给定一定量目标语言训练数据时模型的迁移能力。
引用
@article{arxiv.1910.11301,
title = {Cross-Lingual Vision-Language Navigation},
author = {An Yan and Xin Eric Wang and Jiangtao Feng and Lei Li and William Yang Wang},
journal= {arXiv preprint arXiv:1910.11301},
year = {2020}
}