熵正则化神经自然 actor-critic 算法的有限时间分析
机器学习
2022-06-03 v1 最优化与控制
机器学习
摘要
自然 actor-critic (NAC) 及其变体凭借神经网络的代表能力，在求解大状态空间马尔可夫决策问题时展现了令人瞩目的经验成功。本文给出带神经网络逼近的 NAC 的有限时间分析，并厘清神经网络、正则化与优化技术（如梯度裁剪与平均）的作用，以在样本复杂度、迭代复杂度以及 actor 与 critic 的过参数化界方面获得可证明的良好性能。具体而言，我们证明 (i) 熵正则化与平均通过提供充分探索以避免近确定性与严格次优策略来确保稳定性；(ii) 正则化在正则化 MDP 中带来紧致的样本复杂度与网络宽度界，从而在策略优化中产生有利的偏差—方差权衡。在此过程中，我们识别出 actor 神经网络的均匀逼近能力因分布偏移而对策略优化达到全局最优至关重要。
引用
@article{arxiv.2206.00833,
title = {Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm},
author = {Semih Cayci and Niao He and R. Srikant},
journal= {arXiv preprint arXiv:2206.00833},
year = {2022}
}