面向线性二次高斯控制的成本驱动表征学习：第二部分

我们研究了从部分或可能高维观测中进行状态表征学习的问题。我们通过成本驱动的状态表征学习来解决此问题，通过预测累积成本来学习潜在状态空间中的动力学模型。具体而言，我们在有限样本保证上证明了如何找到近最优的表征函数和近最优的控制器，并使用所学习的潜在模型进行无限期时间不变线性二次高斯 (LQG) 控制。我们研究了两种成本驱动表征学习方法，两者在潜在状态转换函数是显式学习还是隐式学习方面存在差异。第一种方法已在本工作的第一部分中针对有限期时间可变 LQG 控制进行了研究。第二种方法在很大程度上类似于 MuZero，这是近期在经验性强化学习中的一次突破，它通过预测累积成本来隐式学习潜在动力学。本第二部分的关键技术贡献是为我们方法中二次回归分析所产生的新随机过程证明持续激发性，这可能是独立的兴趣。