目标引导 Transformer 增强强化学习的高效自主导航
机器学习
2023-01-03 v1 密码学与安全
计算机视觉与模式识别
摘要
尽管目标驱动导航已有一些成功应用，现有基于深度强化学习（DRL）的方法仍饱受数据效率低下之苦。原因之一是目标信息与被感知模块解耦并直接作为决策的条件引入，导致场景表示中与目标无关的特征在学习过程中起对抗作用。有鉴于此，我们提出一种新颖的目标引导 Transformer 增强强化学习（GTRL）方法，将物理目标状态作为场景编码器的输入，以引导场景表示与目标信息耦合，实现高效自主导航。更具体地，我们提出一种 Vision Transformer 的新变体作为感知系统骨干，即目标引导 Transformer（GoT），并用专家先验对其进行预训练以提升数据效率。随后，为决策系统实例化一种强化学习算法，以来自 GoT 的面向目标的场景表示为输入并生成决策指令。因此，我们的方法促使场景表示主要聚焦于目标相关特征，大幅增强了 DRL 学习过程的数据效率，带来优越的导航性能。仿真与真实世界实验结果均表明，相较于其他最先进（SOTA）基线，我们的方法在数据效率、性能、鲁棒性与仿真到现实泛化方面均具优越性。演示视频（https://www.youtube.com/watch?v=aqJCHcsj4w0）与源代码（https://github.com/OscarHuangWind/DRL-Transformer-SimtoReal-Navigation）也已提供。
引用
@article{arxiv.2301.00364,
title = {Generalizable Black-Box Adversarial Attack with Meta Learning},
author = {Fei Yin and Yong Zhang and Baoyuan Wu and Yan Feng and Jingyi Zhang and Yanbo Fan and Yujiu Yang},
journal= {arXiv preprint arXiv:2301.00364},
year = {2023}
}
备注
T-PAMI 2022. Project Page is at https://github.com/SCLBD/MCG-Blackbox