统一的不确定性感知探索：结合认知不确定性与偶然不确定性
机器学习
2024-01-08 v1
摘要
探索是实际强化学习（RL）中的一个重大挑战，而结合了认知不确定性和偶然不确定性量化的不确定性感知探索已被认为是一种有效的探索策略。然而，捕捉偶然不确定性和认知不确定性对决策的综合影响是困难的。现有工作分别估计偶然不确定性和认知不确定性，并将复合不确定性视为两者的加性组合。尽管如此，加性公式会导致过度冒险行为，从而引发不稳定性。在本文中，我们提出了一种算法，澄清了偶然不确定性和认知不确定性之间的理论联系，统一了偶然不确定性和认知不确定性估计，并量化了两者对风险敏感探索的综合影响。我们的方法建立在分布式 RL 的新扩展之上，该扩展估计参数化的回报分布，其参数是编码认知不确定性的随机变量。在具有探索和风险挑战的任务上的实验结果表明，我们的方法优于其他替代方法。
引用
@article{arxiv.2401.02914,
title = {A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty},
author = {Parvin Malekzadeh and Ming Hou and Konstantinos N. Plataniotis},
journal= {arXiv preprint arXiv:2401.02914},
year = {2024}
}
备注
Accepted by ICASSP2023