分布外动力学检测:强化学习相关基准与结果
机器学习
2022-05-25 v2 人工智能
摘要
我们研究分布外动力学(OODD)检测问题,即检测时序过程的动力学相较于训练分布动力学发生变化的情况。这与控制、强化学习(RL)和多变量时间序列中的应用相关,其中测试时动力学的变化会以未知方式影响学习控制器/预测器的性能。该问题在深度 RL 背景下尤为重要,因为学到的控制器常对训练环境过拟合。然而,目前缺乏针对 RL 研究中常用环境类型的既定 OODD 基准。我们的首要贡献是设计一组源自常见 RL 环境、具有不同类型和强度 OODD 的基准。第二贡献是基于循环隐式分位数网络(RIQN)设计一种强 OODD 基线方法,其通过监测自回归预测误差进行 OODD 检测。除 RIQN 外,我们引入并测试了另外三种更简单的基线。我们最后的贡献是在基准上评估基线方法,为未来比较提供结果。
引用
@article{arxiv.2107.04982,
title = {Out-of-Distribution Dynamics Detection: RL-Relevant Benchmarks and Results},
author = {Mohamad H Danesh and Alan Fern},
journal= {arXiv preprint arXiv:2107.04982},
year = {2022}
}
备注
ICML 2021 Workshop on Uncertainty and Robustness in Deep Learning