面向室外视觉与语言导航的多模态文本风格迁移
计算与语言
2021-02-05 v3 人工智能
计算机视觉与模式识别
摘要
自然语言处理（NLP）中最具挑战性的课题之一是视觉接地语言理解与推理。室外视觉与语言导航（VLN）正是这样一项任务：智能体遵循自然语言指令并在真实城市环境中导航。由于缺乏刻画复杂城市场景的人工标注指令，室外 VLN 仍是一项难以解决的挑战性任务。本文提出一种多模态文本风格迁移（MTST）学习方法，并利用外部多模态资源来缓解室外导航任务中的数据稀缺问题。我们首先通过迁移由 Google Maps API 生成的指令风格来丰富导航数据，随后用增强后的外部室外导航数据集对导航器进行预训练。实验结果表明，我们的 MTST 学习方法与模型无关，且我们的 MTST 方法在室外 VLN 任务上显著优于基线模型，在测试集上相对提升任务完成率 8.7%。
引用
@article{arxiv.2007.00229,
title = {Multimodal Text Style Transfer for Outdoor Vision-and-Language Navigation},
author = {Wanrong Zhu and Xin Eric Wang and Tsu-Jui Fu and An Yan and Pradyumna Narayana and Kazoo Sone and Sugato Basu and William Yang Wang},
journal= {arXiv preprint arXiv:2007.00229},
year = {2021}
}
备注
EACL 2021