分块 MDP 中的不变因果预测
机器学习
2020-06-15 v2 人工智能
机器学习
摘要
跨环境泛化对于强化学习算法成功应用于现实挑战至关重要。在本文中，我们考虑在分块 MDP 中学习可泛化的抽象表示的问题；分块 MDP 是一族环境，具有共享的潜在状态空间及该潜在空间上的动力学结构，但观测不同。我们利用因果推断工具提出一种不变预测方法，以学习在多环境设定下泛化到新观测的模型无关状态抽象(MISA)。我们证明，对于某些类别的环境，该方法以高概率输出对应于关于回报的因果特征集的状态抽象。我们进一步给出了多环境设定下模型误差与泛化误差的更一般界，在此过程中展示了因果变量选择与 MDP 状态抽象框架之间的联系。我们给出了经验证据，表明我们的方法在线性与非线性设定下均有效，相较单任务与多任务基线取得了改进的泛化性能。
引用
@article{arxiv.2003.06016,
title = {Invariant Causal Prediction for Block MDPs},
author = {Amy Zhang and Clare Lyle and Shagun Sodhani and Angelos Filos and Marta Kwiatkowska and Joelle Pineau and Yarin Gal and Doina Precup},
journal= {arXiv preprint arXiv:2003.06016},
year = {2020}
}
备注
Accepted to ICML 2020. 16 pages, 8 figures