用于鲁棒视觉-语言导航的对抗强化指令攻击器
计算机视觉与模式识别
2021-07-26 v1 人工智能
计算与语言
摘要
语言指令在自然语言引导的导航任务中起着至关重要的作用。然而，使用有限的人工标注指令训练的导航器可能难以在不同时间步从复杂指令中准确捕获关键信息，导致导航性能不佳。在本文中，我们利用对抗攻击范式，致力于训练一个更鲁棒的导航器，使其能够从长指令中动态提取关键因素。具体而言，我们提出了一种动态强化指令攻击器（DR-Attacker），它通过在不同时间步破坏指令中最具指导性的信息，学习误导导航器移动到错误的目标。通过将扰动生成为 Markov 决策过程，DR-Attacker 由强化学习算法优化，根据可学习的攻击分数在导航过程中顺序生成扰动指令。然后，作为困难样本的扰动指令被用于通过有效的对抗训练策略和辅助自监督推理任务来提高导航器的鲁棒性。在 Vision-and-Language Navigation (VLN) 和 Navigation from Dialog History (NDH) 任务上的实验结果表明，我们提出的方法优于 state-of-the-art 方法。此外，可视化分析展示了所提出的 DR-Attacker 的有效性，它能够成功攻击不同时间步指令中的关键信息。代码可在 https://github.com/expectorlin/DR-Attacker 获取。
引用
@article{arxiv.2107.11252,
title = {Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation},
author = {Bingqian Lin and Yi Zhu and Yanxin Long and Xiaodan Liang and Qixiang Ye and Liang Lin},
journal= {arXiv preprint arXiv:2107.11252},
year = {2021}
}
备注
Accepted by TPAMI 2021