不可识别隐混淆下的神谕式离线强化学习
机器学习
2023-06-05 v1 人工智能
摘要
离线强化学习（RL）的一个突出挑战是隐混淆问题：未观测变量可能同时影响智能体所采取的动作和观察到的结局。隐混淆会损害从数据得出的任何因果结论的有效性，并构成有效离线 RL 的主要障碍。在本文中，我们处理不可识别设定下的隐混淆问题。我们提出一种由于隐混淆偏差导致的不确定性的定义，称为神谕不确定性（delphic uncertainty），它利用与观测相容的世界模型上的变异性，并将其与众所周知的认知不确定性和偶然不确定性区分开来。我们推导了一种估计这三种不确定性类型的实用方法，并构建了一个悲观离线 RL 算法来考虑它们。我们的方法不假设未观测混淆因子的可识别性，并试图减少混淆偏差的量。我们通过广泛的实验和消融研究证明了我们的方法在脓毒症管理基准以及电子健康记录上的有效性。我们的结果表明，不可识别的隐混淆偏差可以被缓解，从而在实践中改进离线 RL 解。
引用
@article{arxiv.2306.01157,
title = {Delphic Offline Reinforcement Learning under Nonidentifiable Hidden Confounding},
author = {Alizée Pace and Hugo Yèche and Bernhard Schölkopf and Gunnar Rätsch and Guy Tennenholtz},
journal= {arXiv preprint arXiv:2306.01157},
year = {2023}
}