视觉与语言导航在未见室外区域泛化的分析
计算机视觉与模式识别
2022-03-29 v1 人工智能
计算与语言
摘要
视觉与语言导航（VLN）是一项具有挑战性的视觉接地语言理解任务。给定自然语言导航指令，一个视觉智能体在与全景图像装备的基于图的环境交互，并尝试沿所描述的路线行进。大多数先前工作在室内场景中进行，在与训练路线相似的导航路线上取得了最佳结果，而在未见环境上测试时性能急剧下降。我们关注室外场景中的VLN，发现与室内VLN相反，室外VLN在未见数据上的大部分增益来自于诸如路口类型嵌入或航向增量等特定于相应环境图的 features，而图像信息在将VLN泛化到未见室外区域中起着非常微小的作用。这些发现显示了对城市环境图表示细节的偏置，要求VLN任务在地理环境的规模和多样性上增长。
引用
@article{arxiv.2203.13838,
title = {Analyzing Generalization of Vision and Language Navigation to Unseen Outdoor Areas},
author = {Raphael Schumann and Stefan Riezler},
journal= {arXiv preprint arXiv:2203.13838},
year = {2022}
}
备注
accepted at ACL 2022