基于不确定性的离线变分贝叶斯强化学习：应对多样化数据腐蚀的鲁棒性
机器学习
2024-11-04 v1 人工智能
摘要
真实世界的离线数据集常因传感器故障或恶意攻击而受到数据腐蚀（如噪声或对抗攻击）。尽管鲁棒离线强化学习（RL）取得了进展，现有方法在应对由多样化腐蚀数据（即腐蚀的状态、动作、奖励和动力学）引起的高不确定性时仍难以学习鲁棒智能体，导致在干净环境中的性能下降。为解决这一问题，我们提出了一种新颖的鲁棒变分贝叶斯推理方法用于离线RL（TRACER）。首次将贝叶斯推理引入，以通过离线数据捕获不确定性，从而应对所有类型的数据腐蚀。具体而言，TRACER首先将所有腐蚀建模为动作价值函数中的不确定性。然后，为捕获此类不确定性，它利用所有离线数据作为观测，在贝叶斯推理框架下近似动作价值函数的后验分布。TRACER的一个显著特点是，它可以通过基于熵的不确定性度量来区分腐蚀数据与干净数据，因为腐蚀数据往往诱导更高的不确定性和熵。基于上述度量，TRACER可以调节与腐蚀数据相关的损失以降低其影响，从而增强鲁棒性并提升在干净环境中的性能。实验表明，TRACER在单独和同时数据腐蚀两种情况下均显著优于多种先进方法。
引用
@article{arxiv.2411.00465,
title = {Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions},
author = {Rui Yang and Jie Wang and Guoping Wu and Bin Li},
journal= {arXiv preprint arXiv:2411.00465},
year = {2024}
}
备注
Accepted to NeurIPS 2024