以双评论家增强行动者
机器学习
2018-01-01 v1
摘要
本文提出了一种名为双行动者-评论家（Dual Actor-Critic 或 Dual-AC）的新型行动者-评论家风格算法。它从贝尔曼最优方程的拉格朗日对偶形式出发，以原理性的方式推导而来，该形式可视为行动者与一个类评论家函数（命名为对偶评论家）之间的两人博弈。与同类行动者-评论家算法相比，Dual-AC 具有如下理想性质：行动者与对偶评论家协同更新以优化同一目标函数，从而为学习与行动者目标函数直接相关的评论家提供了更透明的方式。随后，我们给出了一种可有效求解极小极大优化问题的具体算法，使用了多步自举、路径正则化以及随机对偶上升算法等技术。我们证明了所提算法在多个基准上取得了最先进的性能。
引用
@article{arxiv.1712.10282,
title = {Boosting the Actor with Dual Critic},
author = {Bo Dai and Albert Shaw and Niao He and Lihong Li and Le Song},
journal= {arXiv preprint arXiv:1712.10282},
year = {2018}
}
备注
21 pages, 9 figures