带协方差矩阵自适应的路径积分策略改进
机器学习
2012-06-22 v1
摘要
最近强化学习中的一个焦点是通过优化参数化策略来解决连续状态和动作问题。PI2是这种方法的一个近期例子。它结合了随机最优控制的第一性原理推导和统计估计理论的工具。在本文中，我们将PI2视为更广泛方法家族的一员，这些方法共享概率加权平均的概念，以迭代更新参数来优化成本函数。我们在概念层面和性能方面将PI2与同一家族的其他成员——交叉熵方法和CMAES——进行比较。比较结果推导出一种新颖的算法，我们称之为PI2-CMA，即“带协方差矩阵自适应的路径积分策略改进”。PI2-CMA的主要优点是它自动确定探索噪声的幅度。
引用
@article{arxiv.1206.4621,
title = {Path Integral Policy Improvement with Covariance Matrix Adaptation},
author = {Freek Stulp and Olivier Sigaud},
journal= {arXiv preprint arXiv:1206.4621},
year = {2012}
}
备注
ICML2012