基于扰动感知对比学习的偏离鲁棒智能体导航
计算机视觉与模式识别
2024-03-12 v1 人工智能
机器人学
摘要
视觉语言导航(VLN)要求智能体遵循给定的语言指令在真实3D环境中导航。尽管取得了显著进展,传统VLN智能体通常在无干扰环境下训练,在真实场景中容易失败,因为它们不知道如何处理各种可能存在的干扰(如突发障碍物或人类打断),这些干扰通常会导致意外的路线偏离。本文提出一种与模型无关的训练范式,称为渐进式扰动感知对比学习(PROPER),通过要求现有VLN智能体学习偏离鲁棒导航来增强其泛化能力。具体而言,引入一种简单有效的路径扰动方案实现路线偏离,要求智能体在扰动下仍能遵循原始指令成功导航。由于直接强制智能体学习扰动轨迹可能导致训练低效,设计了一种渐进式扰动轨迹增强策略,智能体可随其在特定轨迹上导航性能的提升,自适应地学习在扰动下导航。为鼓励智能体充分捕捉扰动带来的差异,通过对比无扰动轨迹编码与基于扰动的对应编码,进一步开发了扰动感知对比学习机制。在R2R上的大量实验表明,PROPER能在无扰动场景下使多个VLN基线受益。我们进一步收集扰动路径数据,基于R2R构建了一个内省子集,称为路径扰动R2R(PP-R2R)。PP-R2R上的结果显示了流行VLN智能体鲁棒性不佳,以及PROPER提升导航鲁棒性的能力。
引用
@article{arxiv.2403.05770,
title = {Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning},
author = {Bingqian Lin and Yanxin Long and Yi Zhu and Fengda Zhu and Xiaodan Liang and Qixiang Ye and Liang Lin},
journal= {arXiv preprint arXiv:2403.05770},
year = {2024}
}
备注
Accepted by TPAMI 2023