基于期望模型的规划
机器学习
2020-07-31 v4 人工智能
机器学习
摘要
分布模型和样本模型是基于模型的强化学习（MBRL）中两种流行的模型选择。然而，学习这些模型可能难以处理，特别是当状态和动作空间很大时。另一方面，期望模型由于其紧凑性而相对容易学习，并且也已被广泛用于确定性环境。对于随机环境，期望模型如何用于规划并不明显，因为它们仅部分刻画了一个分布。在本文中，我们提出了一种在 MBRL 中使用近似期望模型的合理方法。具体而言，我们 1）证明了若状态值函数在状态特征上线性，则用期望模型规划等价于用分布模型规划；2）分析了两种用于近似期望的常见参数化选择：线性和非线性期望模型；3）提出了一种基于模型的合理策略评估算法并给出其收敛结果；4）通过实验证明了所提规划算法的有效性。
引用
@article{arxiv.1904.01191,
title = {Planning with Expectation Models},
author = {Yi Wan and Zaheer Abbas and Adam White and Martha White and Richard S. Sutton},
journal= {arXiv preprint arXiv:1904.01191},
year = {2020}
}