FLAMBE：低秩 MDP 的结构复杂性与表示学习
机器学习
2020-07-23 v2 机器学习
摘要
为了应对强化学习（RL）中的维数灾难，通常的做法是作参数化假设，即值或策略是某些低维特征空间的函数。本工作关注表示学习问题：我们如何学习这样的特征？在底层（未知）动力学对应于低秩转移矩阵的假设下，我们展示了表示学习问题如何与一种特定的非线性矩阵分解问题相关联。在结构方面，我们精确建立了这些低秩 MDP 与潜变量模型之间的联系，展示了它们如何显著推广了先前 RL 中表示学习的公式。在算法方面，我们开发了 FLAMBE，它在低秩转移模型中进行探索与表示学习，以实现可证明高效的 RL。
引用
@article{arxiv.2006.10814,
title = {FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs},
author = {Alekh Agarwal and Sham Kakade and Akshay Krishnamurthy and Wen Sun},
journal= {arXiv preprint arXiv:2006.10814},
year = {2020}
}
备注
New algorithm and analysis to remove the reachability assumption