有限时间约束自然评论-演员算法收敛性分析及样本复杂度提升
机器学习
2025-10-07 v1 人工智能
摘要
近期研究越来越关注演员-评论家（actor-critic, AC）算法的非渐近收敛性分析。此类工作引入了针对折扣成本设置的两时刻比例评论-演员算法，采用表格表示方法，其中通常演员和评论家的角色被颠倒。但仅建立了渐近收敛性。随后，对采用线性函数逼近的评论-演员算法进行了渐近和非渐近分析。本文引入首个针对长期平均成本设置并带约束条件的自然评论-演员算法，提供该算法的非渐近收敛性保证。我们的分析确定最优学习率，还提出一种修改方案以提升样本复杂度。我们进一步在三个不同的Safety-Gym环境中进行实验，结果表明该算法在与其他众所周知算法比较时表现具有竞争力。
引用
@article{arxiv.2510.04189,
title = {Finite Time Analysis of Constrained Natural Critic-Actor Algorithm with Improved Sample Complexity},
author = {Prashansa Panda and Shalabh Bhatnagar},
journal= {arXiv preprint arXiv:2510.04189},
year = {2025}
}