用于视觉与语言导航的优先级地图：结合轨迹规划与特征-位置线索
机器学习
2022-11-21 v4
摘要
在繁忙的城市街道上，被干扰包围的行人若能识别出与其路线相关的单个标志。户外视觉与语言导航（VLN）中的人工智能体同样面临从输入中检测环境特征与位置上的监督信号的问题。为在基于 transformer 的架构中提升相关特征的显著性而无需昂贵的预处理与预训练，我们从神经心理学研究中描述的优先级地图机制获得启发。我们实现了一种新颖的优先级地图模块，并使用具有路线高级表示及与城市特征相关的环境参照的低样本数据集在辅助任务上预训练。轨迹规划的层次化过程——继而对视觉输入进行参数化视觉增强滤波并预测相应文本跨度——解决了跨模态对齐与特征级定位的核心挑战。该优先级地图模块被集成到一个特征-位置框架中，使独立 transformer 的任务完成率翻倍，并在 Touchdown 基准上达到 VLN 的 SOTA 性能。代码与数据见附录 C。
引用
@article{arxiv.2207.11717,
title = {A Priority Map for Vision-and-Language Navigation with Trajectory Plans and Feature-Location Cues},
author = {Jason Armitage and Leonardo Impett and Rico Sennrich},
journal= {arXiv preprint arXiv:2207.11717},
year = {2022}
}
备注
Accepted to WACV 2023