用于导航的循环视觉与语言 BERT
计算机视觉与模式识别
2021-03-30 v2
摘要
许多视觉语言任务的准确率已显著受益于视觉与语言（V&L）BERT 的应用。然而，其在视觉与语言导航（VLN）任务中的应用仍然有限。原因之一是将 BERT 架构适配到 VLN 中存在的部分可观测马尔可夫决策过程较为困难，该过程需要依赖于历史的注意力与决策。本文中我们提出了一种用于 VLN 的、具有时间感知能力的循环 BERT 模型。具体而言，我们为 BERT 模型配备了一个维持智能体跨模态状态信息的循环函数。通过在 R2R 和 REVERIE 上的大量实验，我们证明我们的模型可以替代更复杂的编码器-解码器模型以达到最先进结果。此外，我们的方法可推广到其他基于 transformer 的架构，支持预训练，并能同时解决导航与指代表达任务。
引用
@article{arxiv.2011.13922,
title = {A Recurrent Vision-and-Language BERT for Navigation},
author = {Yicong Hong and Qi Wu and Yuankai Qi and Cristian Rodriguez-Opazo and Stephen Gould},
journal= {arXiv preprint arXiv:2011.13922},
year = {2021}
}