深度强化学习中的风险与不确定性估计
机器学习
2020-09-10 v5 人工智能
机器学习
摘要
强化学习智能体面临两类不确定性。认知不确定性源于数据有限，对探索有用；而偶然不确定性来自随机环境，在风险敏感应用中必须加以考虑。我们强调了同时估计这两类不确定性的挑战，并提出了一种在学习的 Q 值上解耦与估计这些不确定性的框架。我们推导了这些不确定性的无偏估计量，并引入了一种不确定性感知的 DQN 算法，表明其在 MinAtar 测试平台上表现出安全的学习行为且优于其他 DQN 变体。
引用
@article{arxiv.1905.09638,
title = {Estimating Risk and Uncertainty in Deep Reinforcement Learning},
author = {William R. Clements and Bastien Van Delft and Benoît-Marie Robaglia and Reda Bahi Slaoui and Sébastien Toth},
journal= {arXiv preprint arXiv:1905.09638},
year = {2020}
}
备注
Work presented at the ICML 2020 Workshop on Uncertainty and Robustness in Deep Learning