面向分布鲁棒安全强化学习的风险厌恶模型不确定性
机器学习
2023-10-27 v2 人工智能
机器学习
摘要
许多真实世界领域需要在不确定环境中进行安全决策。在这项工作中，我们引入了一种深度强化学习框架来处理这一重要问题。我们考虑转移模型上的一种分布，并通过使用相干扭曲风险度量对模型不确定性采取风险厌恶视角。我们通过证明该框架等价于一类特定的分布鲁棒安全强化学习问题，为其提供了鲁棒性保证。然而，与深度强化学习中现有的鲁棒性方法不同，我们的公式不涉及极小极大优化。这导致了我们方法的一种高效、无模型的实现，仅需要从单一训练环境中进行标准数据收集。在带有安全约束的连续控制任务实验中，我们证明了我们的框架在一系列受扰动的测试环境中于部署时产生了鲁棒的性能和安全性。
引用
@article{arxiv.2301.12593,
title = {Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning},
author = {James Queeney and Mouhacine Benosman},
journal= {arXiv preprint arXiv:2301.12593},
year = {2023}
}
备注
37th Conference on Neural Information Processing Systems (NeurIPS 2023)