从丰富观测中提取具有线性动力学的隐状态表示
机器学习
2020-06-30 v1 机器学习
摘要
近来，许多强化学习技术被证明在线性动力学的简单情形（尤其是线性二次调节器等问题）下具有可证明的保证。然而在实践中，许多强化学习问题试图直接从丰富的、高维的表示（如图像）中学习策略。即便在正确的隐表示（如位置与速度）中存在线性的底层动力学，丰富的表示也很可能是非线性的且可能包含无关特征。本工作中，我们研究这样一种模型：其中存在一个隐藏的线性子空间，动力学在该子空间内是线性的。针对此类模型，我们给出一种高效算法以提取具有线性动力学的线性子空间。随后我们将该思想推广到提取非线性映射，并在具有丰富观测的简单设定中通过实验验证了方法的有效性。
引用
@article{arxiv.2006.16128,
title = {Extracting Latent State Representations with Linear Dynamics from Rich Observations},
author = {Abraham Frandsen and Rong Ge},
journal= {arXiv preprint arXiv:2006.16128},
year = {2020}
}