一种基于距离的深度学习强化异常检测框架
机器学习
2024-10-21 v3 人工智能
摘要
在深度强化学习（RL）系统中，异常状态可能触发不可预测的行为和不安全动作，从而带来显著风险，阻碍 RL 系统在真实场景中的部署。可靠的决策系统必须具备在遭遇无法处理的陌生观测时发出警报的能力。本文针对深度 RL 算法提出了一种新颖的基于马哈拉诺比斯距离（MD）的异常检测框架，称为 MDX。MDX 同时处理离线和在线设定中的随机、对抗性以及分布外（OOD）状态离群点。它利用每个动作的类条件分布内的马哈拉诺比斯距离，并在高斯假设下的统计假设检验框架中运行。我们通过引入鲁棒 MD 和保形推断技术，进一步将其扩展为鲁棒且分布自由的版本。通过在经典控制环境、Atari 游戏和自动驾驶场景上的大量实验，我们证明了基于 MD 的检测框架的有效性。MDX 为提升 RL 系统在真实应用中的安全性与可靠性提供了一种简单、统一且实用的异常检测工具。
引用
@article{arxiv.2109.09889,
title = {A Distance-based Anomaly Detection Framework for Deep Reinforcement Learning},
author = {Hongming Zhang and Ke Sun and Bo Xu and Linglong Kong and Martin Müller},
journal= {arXiv preprint arXiv:2109.09889},
year = {2024}
}
备注
19 pages, 21 figures