预测、一致性、曲率：面向局部线性控制的表示学习
机器学习
2020-02-12 v2 机器学习
摘要
许多现实世界中的序贯决策问题可表述为具有高维观测和未知动力学的最优控制。一种有前景的方法是将高维观测嵌入到低维潜在表示空间，估计潜在动力学模型，然后利用该模型在潜在空间中进行控制。一个重要的开放问题是如何学习一种适用于现有控制算法的表示？在本文中，我们专注于为局部线性控制算法（如迭代 LQR (iLQR)）学习表示。通过从最优控制视角表述并分析表示学习问题，我们确立了所学表示应遵循的三个基本原则：1) 在观测空间中的准确预测，2) 潜在空间与观测空间动力学之间的一致性，以及 3) 潜在空间转移中的低曲率。这些原则自然对应于一个由三项组成的损失函数：预测、一致性和曲率 (PCC)。关键在于，为使 PCC 可处理，我们推导了 PCC 损失函数的摊销变分界。在基准领域上的大量实验表明，新的变分-PCC 学习算法具有显著更稳定和可复现的训练，并带来更优的控制性能。进一步的消融研究支持了所有三个 PCC 组件对于学习良好控制潜在空间的重要性。
引用
@article{arxiv.1909.01506,
title = {Prediction, Consistency, Curvature: Representation Learning for Locally-Linear Control},
author = {Nir Levine and Yinlam Chow and Rui Shu and Ang Li and Mohammad Ghavamzadeh and Hung Bui},
journal= {arXiv preprint arXiv:1909.01506},
year = {2020}
}