变换输入鲁棒强化学习中扰动状态的研究
机器学习
2024-08-05 v2
摘要
在训练环境中表现出色的强化学习 (RL) 智能体，在部署时对输入观察中的对抗性扰动表现出脆弱性。这凸显了在实际部署前构建鲁棒智能体的重要性。为缓解这一困难，先前的工作侧重于开发鲁棒训练程序，旨在增强深度神经网络组件的鲁棒性，或使智能体受到强大攻击的对抗训练。在本工作中，我们提出了一种新方法，称为变换输入鲁棒强化学习 (Transformed Input-robust RL, TIRL)，通过采用基于输入转换的防御机制来减轻对手影响。具体而言，我们引入了两种原则，用于在学习鲁棒RL智能体时应用基于转换的防御：(1) 采用自编码器风格的去噪以重构原始状态；(2) 采用受限转换（位深度缩减和向量量化 (VQ)）以实现接近的转换后输入。转换在将状态输入到策略网络之前进行。针对多个MuJoCo环境进行大量实验，表明基于输入转换的防御机制，即 VQ，能够对状态观察中的几类对手产生防御。官方代码可在 https://github.com/tunglm2203/tirl 获取。
引用
@article{arxiv.2408.00023,
title = {On the Perturbed States for Transformed Input-robust Reinforcement Learning},
author = {Tung M. Luu and Haeyong Kang and Tri Ton and Thanh Nguyen and Chang D. Yoo},
journal= {arXiv preprint arXiv:2408.00023},
year = {2024}
}
备注
12 pages (Code: https://github.com/tunglm2203/tirl)