基于多步逆动力学的可证明带外生干扰的强化学习
机器学习
2022-03-08 v2
摘要
强化学习(RL)的许多现实应用要求智能体处理高维观测，例如由百万像素相机生成的观测。已有工作通过表示学习解决此类问题，使智能体可证明地从原始观测中提取内生的潜在状态信息并随后高效规划。然而，当观测中存在时间相关的噪声时（实践中常见现象），此类方法可能失效。我们提出新模型 Exogenous Block MDP (EX-BMDP) 用于丰富观测 RL，并由此开启带此类外生噪声源的潜在状态发现的形式化研究。我们首先给出若干负面结果，指出基于表示学习的已有方法的失败案例。随后，我们引入 Predictive Path Elimination (PPE) 算法，其学习逆动力学的推广形式，并在内生状态动力学近乎确定时在 EX-BMDP 中具有可证明的样本与计算高效性。PPE 的样本复杂度关于潜在内生状态空间大小多项式依赖，而不直接依赖于观测空间或外生状态空间的大小。我们在具有挑战性的探索问题上提供实验，表明该方法在经验上有效。
引用
@article{arxiv.2110.08847,
title = {Provable RL with Exogenous Distractors via Multistep Inverse Dynamics},
author = {Yonathan Efroni and Dipendra Misra and Akshay Krishnamurthy and Alekh Agarwal and John Langford},
journal= {arXiv preprint arXiv:2110.08847},
year = {2022}
}
备注
ICLR 2022